La terza fase di trasformazione dell'edificio, che ne definisce la struttura giunta sino ai nostri giorni, ha inizio nel 1664 allorchè entra in possesso del feudo il banchiere genovese Carlo De Mari, acquistandolo dagli eredi del marchese Paride Pinelli, signore di Acquaviva dal 1614 al 1623.
La Famiglia De Mari domina Acquaviva per oltre un secolo, fino alla fine del feudalesimo decretata nel 1806 e completa l'opera di trasformazione in Palazzo dell'antico Castello.
In questo periodo l'edificio viene inglobato in una nuova struttura che amplia con nuovi corpi di fabbrica tre lati del palazzo: a sud viene realizzata la nuova galleria di pittura (oggi occupata dalla Sala Consiliare) con l'ampia terrazza sostenuta da una struttura ad archi (tamponati nell'ottocento).
A ovest viene realizzato il nuovo loggiato, viene accostata all'antico muro esterno del castello una nuova sequenza di stanze nonchè il corpo centrale aggettante con il grande portale monumentale di ingresso; a nord viene costruita la seconda grande terrazza accostata al corpo preesistente realizzando al piano terra ed al piano ammezzato nuovi ambienti (attualmente occupati rispettivamente da negozi e dai locali dell'ex carcere); viene quindi sopraelevato di un piano l'intero corpo nord per la realizzazione di una grande sala con copertura a capriate adibita a piccolo teatro di corte.
Numerosi altri interventi di abbellimento in stile barocco vengono realizzati all'interno dell'edificio: i portali di ingresso ai locali del primo piano ai quali si accede dal grande scalone ricavato nel loggiato all'interno del cortile; le tre grandi finestre su lato est del cortile interno. Di particolare pregio risultano le cornici di pietra delle nuove finestre dei prospetti sud e ovest, nonchè quelle realizzate nella seconda metà del XVIII secolo, del corpo centrale aggettante della facciata ovest. Pure al XVIII secolo è da far risalire il cornicione di coronamento dei fronti sud e ovest con i caratteristici mascheroni (va tuttavia precisato che i mascheroni in cemento oggi visibili sono stati realizzati in recenti restauri, in seguito a numerosi crolli dei cornicioni).