Il castello di Manfredonia è un complesso edilizio a pianta quadrangolare, munito di spesse mura perimetrali e corredato agli angoli di tre torri circolari e di un bastione pentagonale. All'interno sorge un'altro nucleo fortificato, quadrato con quattro torri angolari (tre cilindriche ed una quadrilatera). L'impianto, che nel corso dei secoli ha subito, in adeguamento ai continui progressi della tecnica della guerra, numerose modifiche di ordine strutturale e formale, lascia tuttavia individuare con estrema chiarezza, due delle più importanti fasi di costruzione: il nucleo svevo - angioino e l'ampliamento aragonese. Sebbene carenti di specifici riscontri documentali, il nucleo interno è generalmente ritenuto opera ideata ed iniziata da re Manfredi di Svevia, nel corso dei lavori del nuovo impianto urbanistico della novella Sipontum (1256-1266): ad esso infatti si fa risalire la costruzione delle due torri quadrate verso il mare (quella di sud-ovest, si presenta avviluppata completamente da una torre cilindrica, ma come hanno mostrato i saggi effettuati, ancora quasi integra sotto la muratura di rimpello) e probabilmente dello stesso impianto generale. L'opera fu soltanto iniziata; più tardi durante la dominazione angioina, si ripresero i lavori e l'intero complesso castellano fu completato. L'ampliamento aragonese (seconda metà del '400) è identificabile - ad eccezione del bastione pentagonale - con l'attuale cinta esterna del castello. A seguito di tale intervento il castello venne circondato da un profondo fossato che, all'ingresso, posto sul fronte nord, venive superato con un ponte levatoio. Un'ulteriore modifica al castello viene attestata dal bastione pentagonale a nord - ovest (prima metà del '500). I successivi interventi operati nei secoli XVII ed XVIII non apportarono sostanziali trasformazioni al complesso, ma furono diretti ad una serie di modifiche connesse alle nuove esigenze di ordine funzionale e logistico. Nel XVII secolo fu in parte modificato il piano superiore dell'ala sud del mastio, aperta la porta prospicente la marina, risanato lo stagno del fossato e costruito di sana pianta il rivellino, quest'ultimo oggi non più esistente. Con l'abbandono da parte dei militari ai primi dell'800 ed il passaggio in proprietà all'Orfanatrofio Militare di Napoli, il castello fu soggetto ad altri e più gravi interventi; infine, venduto al comune di Manfredonia al principio di questo secolo, esso è stato ceduto allo Stato nel 1970 per la realizzazione del Museo Nazionale del Gargano.