Oggi rimane ben poco del Castello: la fondazione di una torre circolare, posizionata al limite sud-est della rupe, di m. 6,2 di diametro; un passaggio sotterraneo che lo metteva in comunicazione con la chiesa e poche tracce di muri sul lato nord-est. Secondo Nigro e Quilici fu costruito dai Goti nel V sec. e fu successivamente restaurato dai Normanni. Sorgeva sul punto più alto della collina con dirupi e sbalzi di oltre 100 metri in ogni lato. Era lungo palmi 400 e largo 200, cioè metri 106 x 53 e si estendeva su una superficie di metri quadrati 5.618. Di questa superficie circa tre parti erano adibite a cantine, cisterne e giardino, mentre la restante parte costituiva l'abitazione. Si elevava su due piani con due torri alle parti estreme. L'accesso era regolato da un ponte levatoio. Dalla vendita del feudo fatta dall'università di Tursi al principe Carlo Doria nel 1594, si rileva che in quella data il castello era ancora abitabile. Si pensa che esso sia stato abitabile fino al 1669, quando un violento terremoto ne fece crollare una parte, così da renderlo non più sicuro per l'incolumità dei suoi abitatori. Da quell'anno per l'inclemenza del tempo per il disinteresse dei padroni e di chi governava la cosa pubblica il castello è andato lentamente disfacendosi. Solo una parte era rimasta in piedi quando Giuseppe Francolino, filoborbonico, insieme ai suoi fratelli ed altri cittadini di Tursi, la occupò nel 1860, per difendersi dalle forze liberali. Esso fu fortezza in tempo di guerra e dimora di duchi, conti e baroni in tempo di pace. Con l'abbandono dei signori il castello divenne rifugio di briganti fino al suo completo degrado. Fino agli anni settanta del Novecento era ancora in piedi parte di una delle due torri, ma venne abbattuta nel 1974 perché ritenuta pericolante. Del castello oggi non resta quasi più niente, mentre l'area su cui sorgeva è in continua diminuzione a causa dell'erosione delle piogge sulla friabile collina di "timpa” (formazione calcarea di Tursi).