Fonti storiche testimoniano come si può far verosimilmente risalire il piano terra della torre almeno al sec. XII, la stalla perché mai citata nei documenti cui si è fatto riferimento e per il tipo di murature che la compongono potrebbe essere stata costruita nel sec. XIV per offrire alloggio alle greggi di passaggio.Dopo il 1478, anno in cui si verificò una grave pestilenza, il casale subì un lungo abbandono e la conseguente rovina, tanto che della preesistente chiesa di S. Martino si perse traccia. La proprietà dell'edificio passò nel '400 alla famiglia Zurlo, nobili di Giovinazzo, e si sa con certezza che tornò ad appartenere alla Mensa vescovile. Il vescovo dell’epoca, Giovanni Antolinez Briciano de la Ribera, nobile spagnolo familiare dell’imperatore Carlo V, decise di ricostruire la chiesa e di recuperare il casale dandogli dignità di residenza estiva per i vescovi locali.
I lavori procedettero per varie fasi come si può dedurre dall’esame delle superfici murarie che presentano discontinuità nel tipo di paramento e nella finitura e anche zone di scarso o nullo ammorsamento lungo i confini dei corpi di fabbrica edificati in periodi diversi.Si può pensare che in un primo momento venne edificata la nuova cappella, in una posizione forse diversa da quella originaria essendo l'ultima localizzazione piuttosto distante dal nucleo più antico costituito dalla torre; nello stesso periodo è verosimile supporre l'edificazione della scala esterna e della prima parte del piano superiore. Questa va a sopraelevare i locali di servizio a piano terra e ristruttura completamente il primo piano della torre che viene ricostruito e adibito a cucina per la nuova residenza.
La torre viene, inoltre, portata fino ad una altezza di circa 14m. con un secondo piano adibito a colombaia.
Nella seconda fase si edificano, su gran parte della stalla, le stanze che costituiranno la villa dei vescovi e si definiscono i fronti principali del nuovo palazzo con la posa delle facciate est e sud, rese più eleganti in virtù di un'alta zoccolatura a corsi regolari in pietra calcarea bocciardata.
La terza ed ultima fase vede il completamento del primo piano con la costruzione del salone sullo spazio tra gli ambienti a nord che inglobano la torre e la serie di stanze a sud che comprendono l'appartamento del vescovo con relativa cappellina privata (corpo più basso che si affaccia sul prospetto principale) e le stanze per la servitù.
Tutto quello suddetto è testimoniato nelle Piante piano terra e primo piano.
