Il palazzo trae origine dal matrimonio, avvenuto nel 1574, tra Leonardo Sylos, nipote del chiaro medico Leonardo Vulpano, con la nobile bitontina Livia Giannone di Raffaele ed Isabella Carducci. Il comprensorio di fabbrica era perimetrato dalle attuali via Vico Storto S. Pietro, piazza Sylos-Sersale, via Mozzicugno, vico Bonomio Astrologo, un intero isolato. Nel ‘500 l’accesso avveniva da Vico Storto San Pietro ove Leonardo aveva eseguito un primo spezzone di fabbrica, non completato per sopraggiunta morte. L’intero gruppo di fabbriche fu oggetto di completa ristrutturazione quando avvenne un fastoso matrimonio tra Alfonso Sylos e Isabella Sersale, appartenente ad un illustre casato napoletano. Sappiamo, con certezza, che Alfonso Sylos-Sersale ebbe contatti con Vito Valentino ed altri architetti e capomastri di questa progenie. Non è da escludere, anzi sembra certo, l’intervento di questo architetto nella ideazione della fabbrica, tante sono le analogie con altri manufatti dell'artista. Va datato al 1730-40 circa ed è riconducibile ai moduli napoletani del Sanfelice e del Fuga. L'attuale edificio è il risultato dell'accorpamento di due distinti corpi di fabbrica più antichi: quello medioevale (con frantoio e vani di servizio a piano terra) lungo la via Mozzicugno e il vico Bonomio Astrologo; quello cinquecentesco su Vico Storto San Pietro Nuovo. Ne consegue, quindi, un notevole palinsesto architettonico e decorativo. L'attuale facciata principale è barocca e si manifesta con il portale dalle esuberanti colonne dal fusto con rigonfiamenti, da una trabeazione e loggia con balaustri. Questo portale fa pensare ad un vero e proprio arco di trionfo. Il grande vano carraio, con stipiti e contro stipiti a bugne lisce, ha in chiave una stupenda maschera grottesca di chiara ascendenza greco-romana. La centina è poi inscritta in una struttura architravata ove corrono sculture simboliche che rispecchiano la forza e la ricchezza della famiglia. E' una plastica tipicamente rinascimentale, ma riconducibile, sotto certi aspetti, alle fasce decorate dei fornici del tardo medioevo pugliese. Il portale è poi contenuto in una struttura esterna che trova contatti di riferimento a Bitonto nel portale suburbano del feudo Fons-Sylos, sulla via di Santo Spirito, e in quello dei Gentile su via Traetta. Sui dadi si elevano forti colonne bombate, con compositi straordinari capitelli ove gli elementi classici si coniugano con quelli esotici (anche qui emergono mascheroni, sirene bicaudate). Il tutto a sostegno di una balconata a forte aggetto, una sorta di protiro, balaustrato con stipiti di spigolo esaltati da immagini (una vergine e una donna incinta sboccianti dai fiori) simboli di fertilità. Un grosso emblema emerge dalla finestra balconata e, più in alto, sempre sullo stesso asse vi è altra grandiosa loggia il cui sporto è sostenuto da forti mensole. Più dolce e riposante è la loggia interna sul cortile sghembo, la cui scala si snoda attraverso i pianerottoli. Va notato che queste scale aperte a più ordini, rese possibili dalla mitezza del nostro clima, preesistono al barocco e a Bitonto le troviamo certamente già nel 1500 (palazzo Vulpano). Va infine osservato che la loggia interna non risulta in asse con il portale d'accesso e che l'intero impianto si adatta ad una precedente situazione dei luoghi. Di cinquecentesco rimane integro il corpo a piano terra su vico San Pietro, primitiva facciata del palazzo, con il maestoso portale con bugne toscane radiali ed emblema araldico dei Sylos e dei Giannone in chiave di volta. Ora questa facciata rimane secondaria rispetto al prospetto della piazzetta in asse con la via del Sedile. Chi dalla piazza del Castello accede, infatti, su questa strada, rimane stupito dalla fastosità del portale-loggia, tutto però si risolve nel fatto decorativo. E' questa, una costante nell'edilizia privata bitontina tra ' 500 e '700 condizionata più che da fatti economici, da motivi di spazi irreperibili nell’ambito della cinta muraria urbana.