Una " platea" della famiglia Caracciolo, databile al 1728, assegna la paternità del Palazzo all'archittetto Giovanni Andrea Carducci, un bergamasco che avrebbe lavorato su un disegno " approvato" da Gian Lorenzo Bernini. In base alle disposizioni vigenti nel regno, pare che il Carducci non fosse un architetto riconosciuto dalle leggi all'epoca in vigore. Pertanto, era necesario che i progetti recassero la firma di un archittetto in regola con le disposizioni di legge.
Pare che il Bernini intorno al 1668 fosse ritornato nella sua Napoli, dunque è lecito supporre possibili contatti fra il grande architetto ed i potenti duchi di Martina, i quali risiedevano nella capitale per lunghi periodi dell'anno.
Il desiderio dei commitenti di distinguere e di diversificare l'aspetto della propria residenza, rispetto alle soluzioni archittettoniche realizzate in altri centri di potere della Puglia, potrebbe giustificare il ricorso a un progettista non del luogo.
Qualora tale circostanza si fosse verificata, il Palazzo Ducale dei Caracciolo in Martina sarebbe l'unica opera del grande archittetto eseguita a sud di Roma.Non si conosce il disegno originario del Palazzo, che non venne ultimato nel corso del Seicento a causa dell'alto costo dell'opera. Nella citata " platea" del 1728, l'incompleto palazzo é così descritto: " ....benchè non ridotto a perfezione, pure dal sito e prospettiva si conosce la magnificenza, contenendo in se il disegno della prospettiva, nobilmente disposte con lavori di ferro e di fiorami dell'istessa materia nelle logge degli angoli". La dimora venne parzialmente completata nell'ala orientale del duca FrancescoIII (1771-1794) solo nel 1773. A partire dall'Ottocento,e sino ai giorni nostri, questa dimora patrizia, ampliata nel tempo, fu frazionata fra più proprietari, finendo col perdere la sua unità archittettonica e la sua funzine originaria.