Il Palazzo è il risultato di una serie di lavori edilizi realizzati principalmente nella seconda metà del XVIII secolo, con l'obiettivo di attestare la nobiltà di una delle famiglie più illustri della città, i de' Rossi. Il sito scelto per la costruzione del Palazzo era la sede di precedenti residenze della famiglia, risalenti addirittura al Medioevo.