Ancora leggenda o storia? Secondo alcuni il castello avrebbe origini molto antiche. Risalirebbe, infatti ad Annibale che nel 216 a.C. avrebbe fatto erigere una torre dopo la vittoriosa battaglia di Canne. Solo leggenda?

Sicuramente il Castello venne edificato nel IX secolo e solamente grazie ai Normanni assunse importanza. In questo periodo vennero costruite anche le mura attorno alla città. Fu con Roberto “il Guiscardo”, cioè il furbo, che venne costruita quella che una volta doveva essere una torre gigantesca, tanto da chiamarla “Torre dei giganti”. Siamo nell’ XI° secolo. In questo periodo il Castello serviva anche ad ospitare i cavalieri che si recavano alle crociate.

Dovette piacere il luogo anche allo Svevo Federico II se fece diventare il castello la sua residenza estiva e ospitò la sua amata Bianca Lancia da cui nacque Manfredi.

Nel periodo angioino il castello divenne una prigione per personaggi politicamente “scomodi”. Forse venne uccisa anche la regina di Napoli Giovanna I d’Angiò, poiché il sarcofago si trova nella chiesa di San Francesco.

Nel XV e XVI secolo il castello, in mano agli aragonesi, cambiò aspetto a causa dell’invenzione delle armi da fuoco e dei turchi.

Si rafforzarono le mura, si costruirono le feritoie, si scavò il fossato con il ponte levatoio.

Nel 1552 i Grimaldi acquistano il castello e lo terranno sino al 1798, quando il Cardinale Ruffo lo ricevette in dono da Ferdinando IV.

Solamente nel 1907 il castello torna nelle mani del Comune, in condizioni pietose, poiché i pastori l’avevano adoperato come rifugio per gli animali, proprio come l’Eremo di Pulsano.

Da alcuni anni, restaurato, è richiamo per migliaia di turisti.