E' possibile far risalire l'originario nucleo del Castello di Acquaviva delle Fonti all'epoca dei primi signori normanni e precisamente intorno ai primi anni del XII secolo, periodo in cui, come testimoniano fonti storico-documentarie, Acquaviva è già divenuta una consolidata contea normanna sotto il principato del Conte Cornulo.
Alcune fonti hanno portato gli storici ad ipotizzare una contemporaneità di fondazione tra il castello di Acquaviva ed il Castello di Gioia del Colle, edificato intorno alla fine dell' XI Secolo da Riccardo Siniscalco.
Un ruolo importante nel completamento della struttura fortificata è da assegnare al terzo feudatario di stirpe normanna, Roberto Gurguglione (1150), al quale viene anche attribuita la fondazione della Chiesa di Acquaviva, edificata come Chiesa del Castellum.
La configurazione del castello in epoca Normanna è quella di un recinto quadrangolare con torri ai quattro angoli, secondo una tipologia molto diffusa in Puglia in quegli anni. Di tali torri è oggi ancora possibile individuare la collocazione di quelle a nord-ovest, a sud-ovest ed a nord-est, mentre di quella a sud-est, andata completamente distrutta, è possibile rintracciare la sua giacitura dagli spessori murari ancora visibili al piano terra ed al piano ammezzato.
Dunque anche ad Acquaviva delle Fonti si riscontrano alcune caratteristiche comuni all'architettura delle fortificazioni normanne: la creazione di recinti fortificati e non di corpi di fabbrica, la disposizione delle torri secondo una figura irregolare e le loro angolazioni irregolari.
In alcuni punti del castello è ancora possibile individuare le murature originarie dell'impianto, in grosse bugne di pietra.