Il palazzo trae origine dal matrimonio, avvenuto nel 1574, tra Leonardo Sylos, fratello di Gio. Pasquale, con la nobile bitontina Livia Giannone di Raffaele e Isabella Carducci.
I Giannone avevano nella zona un complesso di fabbriche, ora sfigurate e stravolte da una edilizia povera successiva (Corte Trenta su Via Arco Pinto, Corte Cervelli ove residua un bel portale bugnato).Leonardo Sylos, con atto del 16.5.1581, per il prezzo di 1500 ducati, acquisto' una casa da tale Cola Maria Maggiore molto prossima al convento di San Pietro Nuovo e nelle vicinanze delle abitazioni dei Giannone.
Da una platea fatta nel 1730 dal can. Domenico Cassandro si ricava che ''quando fu comprato dal quondan Leonardo Sylos avea un solo supportico, che e' quello del prospetto su Vico San Pietro Nuovo. Vi era una scaletta scoperta. Vi era il trappeto con la porta avanti la casa delli Mezzafalce oggi del sig.Francesco Ancarano. Sul quale trappeto non vi era abitazione, ma tutto era scoperto.''
Il comprensorio di fabbrica era dunque perimetrato dalle attuali Vie Vico Storto S.Pietro, Piazza Sylos-Sersale, Via Mozzicugno, Vico Bonomio Astrologo, un intero isolato.Nel '500 l'accesso avveniva da Vico Storto S.Pietro ove Leonardo aveva eseguito un primo spezzone di fabbrica, non completato per sopraggiunta repentina morte.
In un estratto di catasto del 1586, anno del suo decesso, si parla gia' di ''un palazzo consistente in piu' e diversi membri con un trappeto sotto detto palazzo, sito dentro Bitonto nel vicinato di San Pietro Nuovo iuxta giardino di S.Maria degli Angioli, la via pubblica circumcirca comprato da Cola Maria Maggiore.''
L' intero gruppo di fabbriche fu oggetto di completa ristrutturazione quando avvenne un fastoso matrimonio tra Alfonso Sylos e Isabella Sersale, di illustre casato napoletano.Il nuovo palazzo, nella dizione popolare, fu chiamato Fante Soje (abbreviazione volgare di Fons Sylos).
Sappiamo con certezza che Alfonso Sylos-Sersale ebbe contati con Vito Valentino ed altri architetti e capimastri di questa progenie (1729). Non e' da escludere, anzi sembra certo, l' intervento di questo architetto nella ideazione della fabbrica, tante sono le analogie con altri manufatti dell' artista.
Va datato al 1730-40 circa ed e' riconducibile ai moduli napoletani del Sanfelice e del Fuga.
L' aggancio alla cultura napoletana e' ormai da tempo consolidato, da quando, cioe', le vittoriose armate spagnuole del Gran Capitano ridussero la regione a definitiva provincia del Viceregno.
All' inzio del '700 l' ambiente artistico meridionale e' dominato dagli architetti Ferdinando Fuga (1699-1781)m Luigi Vanvitelli (1700-177) e Ferdinando Sanfelice (1675-1748), il quale ultimo si evidenzia per la particolare organizzazione dei cortili dove si inseriscono scale e scalinate con strutture aperte, leggiadre e di disimpegno (a Napoli Palazzo Sanfelice 1725-28; Serra Cassano; Di Majo; etc.).
Scrive a questo proposito Roberto Pane:''E' noto come le arcate affacciantesi sui cortili, o su ripiani successivi abbiano offerto nel periodo barocco motivi di composizione che sono stati sfruttati con soluzione veramente scenografica, degne di essere considerate come uno degli aspetti piu' originali dell' architettura napoletana del '600 e del '700 ''
.