La storia dei Caracciolo e quella del palazzo si uniscono per sempre nel 1309, quando la magione viene donata a Landolfo Caracciolo dal Re di Napoli, Carlo II d’Angiò. Nel 1584, il palazzo medievale fu ristrutturato, per raggiungere la sua forma attuale. Dell’epoca conserva ancora oggi, intatto nello stile architettonico rinascimentale, il magnifico chiostro centrale porticato.