La famiglia De (o Di) Lerma fu uno dei rami cadetti delle grandi famiglie di Spagna trasferitisi nel mezzogiorno durante la dominazione spagnola. Il casato, molto cospicuo nella penisola iberica, è originario del paesino di Lerma, nella Vecchia Castiglia a circa 35 chilometri da Burgos la cittadina dei Sylos. I de Lerma furono potentissimi nel sec. XV. Nelle loro immense terre, al di qua e al di la dell'Atlantico " non tramontava mai il sole ". Ascesero a gran fama con il titolo ducale e vi furono diversi primi ministri di Filippo II e III d'Asburgo. La loro potenza e ingordigia fece passare un motto fra il popolo " el major ladron de Espana ". A Bitonto detta famiglia la troviamo solo dopo il 1565 e registrata fra i nobili fuori piazza, cioè non appartenente al seggio nobile di S. Anna. Occuparono comunque posti di rilievo sia nella vita civile con D. Francesco de Lerma, che dal 1 aprile 1592 fu nominato R. Governatore della città, ed in quella religiosa con l'arciprete Don Girolamo de Lerma. Quest'ultimo, facendo tesoro degli illeciti arricchimenti e dei soprusi, intorno al 1647-48, avendo ottenuto in concessione dalla Universitati Civium le aree civiche già destinate ad alloggiamenti per i soldati nonché una strada pubblica che dalla Cattedrale conduceva alle case dei Giannone nei pressi della chiesa di san Paolo, costruì una vasta dimora palaziata adattandola sapientemente alla situazione dei luoghi ( Regia Corte, Chiesa della Misericordia, Planchetto della Cattedrale ). Oscure leggende corrono sui Duchi de Lerma che, per circa due secoli, hanno occupato questo edificio, esempio "mitico" per Bitonto della dominazione spagnola. Pare che in questo austero palazzo abbia albergato un signorotto che ad onta dell'alto lignaggio avrebbe goduto di immunità e privilegi. Si narra infatti che questo piccolo Don Rodrigo fosse sempre circondato da guardie del corpo, da veri e propri "bravi", tutta gente con gravi pendenze penali rifugiatasi nel palazzo durante gli inseguimenti e che comunque si era abbracciato ai grossi paracarri che guardano il portone occidentale. I de Lerma ebbero da noi fama non certo lusinghiera, ma, nella storia, compaiono quasi sempre come gente pia e devota. Ricordiamo della famiglia i prelati di Barletta e Altamura (sec. XVIII) e quel Don Diego che del Villaggio di Santo Spirito fu il primo parroco ed ultimo, insieme al fratello Giovanni, il quale venne beneficato da don Luigi Della Noce, che lo tenne come prefetto e pedagogo nella camerata dei piccoli del nostro collegio di Santa Teresa, del casato che ebbe il titolo ducale di Castelmezzano e del corpo rustico di Ciliano che poi prese il nome di Torre de Lerma in quel di Palombaio. Qui nacque una vasta azienda agricola pari a quella degli Ilderis o a quella degli Albuquerchia. Bonificano quelle terre trasformandole da boschive in seminative, vigneti e oliveti mediante il sistema enfiteutico. Purtroppo non è stato possibile ricostruire la storia catastale dell'edificio nelle varie epoche poiché la famiglia de Lerma si è estinta alla fine dell'ottocento, quindi si può redigere solo una descrizione attuale del fabbricato.