Nessuna notizia si ha su eventuali interventi effettuati in epoca angioina mentre nel corso del XIV e del XV secolo si riscontra nel paese una fitta successione di feudatari, con permanenze di uno stesso signore nel castello che in genere non vanno oltre tre o quattro anni. Una particolare influenza è esercitata dalla Famiglia Del Balzo, il cui stemma viene apposto sull'originario portale di ingresso a Nord Ovest.
Maggiore documentazione esiste invece in merito agli interventi effettuati tra la fine del XIV secolo e tutto il XV secolo, periodo a cui è possibile attribuire una nuova sostanziale opera di trasformazione del castello in residenza signorile.
Dopo la grande distruzione del Castello e dell'intero paese avvenuta nel 1495 ad opera di Iacopo Piccinino nel corso della guerra tra Carlo VIII, Re di Francia, e Alfonso II d'Aragona (le cronache ed i documenti del tempo descrivono il castello diroccato, "… le mura … quasi tucte per terra … et lo castello di quella terra se tene per casa piana ..."). Giovanna d'Aragona, prima, e gli Acquaviva d'Aragona, poi, avviano la fase di ricostruzione e ampliamento del complesso.
Con Andrea Matteo ha inizio infatti un dominio su Acquaviva della Famiglia Acquaviva d'Aragona che durerà per tutto il XVI secolo, caratterizzato da un impegnativo programma edilizio. Nel 1529, ad esempio, Giovanni Antonio Donato Acquaviva avvia i lavori della nuova cattedrale mentre quattro anni prima, a sue spese, aveva già sostenuto la costruzione del nuovo convento di Santa Maria.
Sicuramente consistenti sono dunque le trasformazioni avute dal castello sino alla fine di questo secolo come è possibile dedurre dalle descrizioni contenute in due perizie effettuate nel 1611 e nel 1612 per una stima generale del feudo di Acquaviva voluta dall'ultimo feudatario della famiglia, Giosia d'Acquaviva, costretto a vendere le sue proprietà per ripianare i forti debiti contratti dai suoi predecessori.
Viene completamente ristrutturata la sala al primo piano dell'ala nord, realizzando una pregevole copertura con peducci ancora visibile, la cui conformazione presenta analogie con la coeva copertura realizzata nella Torre De Rossi nel Castello di Gioia del Colle; viene ampliato l'intero corpo a sud con la realizzazione della grande sala con volta a teste di padiglione illuminata dalle tre nuove finestre di chiara fattura cinquecentesca; e viene costruita la cappella del palazzo nell'angolo sud-ovest.