Non si hanno notizie certe sulla sua origine, ma le due finestre bifore della parte ovest lasciano intuire che il nucleo principale sia stato edificato molto probabilmente durante il periodo normanno-svevo. Il castello nel Medioevo, collegato alla roccaforte del Castelluccio e ad un avamposto identificabile con la chiesa di San Pietro, era messo in comunicazione con questi da passaggi sotterranei, che giungevano, si dice, fino al Cannizzo. Essi costituivano un vero e proprio complesso architettonico e difensivo, ed un vecchio stemma cinquecentesco della città, con tre torri, mette in evidenza la loro importanza. I vari quartieri del castello assumevano funzioni diverse. Vi era la parte più nobile riservata al castellano; vi erano le scuderie, i fienili, le stalle, le abitazioni per i servi e per gli addetti alla manutenzione; vi erano le carceri, all’interno delle quali, nelle scomode celle dette dammusi, lunghe non più di due metri ed alte appena un metro, venivano rinchiusi spesso i più turbolenti avversari politici e i più incalliti delinquenti; vi erano le cisterne per conservare l’acqua piovana o per nascondervi, durante gli assedi, vettovaglie e suppellettili preziosi; vi era nella parte più alta un ampio locale, detta Solecchia, che si ritiene fosse la zecca dove si coniavano le monete.