Originariamente, il Castello, compreso nella cinta muraria, rappresentava un punto di forza sul lato ad ovest del Borgo.

Non esistono documenti per determinare l'epoca a cui risale la costruzione del Castello , il committente e i costruttori che lo eseguirono.
Probabilmente ciò accadde quando Cellamare passò dagli arcivescovi di Bari ai feudatari, non si sa' in che modo.
Intorno agli anni '40 i locali del Castello furono adibiti a scuola, nella zona su via Marconi e a sede municipale in Vico II dietro al Castello.
Al piano terra, gli ampi locali erano destinati a frantoi e pavimenti in cui si pigiava l'uva e si faceva fermentare il mosto.
Attualmente il Castello é adibito a residenza e deposito.
Per quanto riguarda l' architettura si osserva che l'intero complesso non richiama l'imponenza tipica degli antichi castelli, ma piuttosto la serenità di una semplice residenza rurale.
Attualmente il Comune stà trattando l'acquisto del Castello baronale, onde evitare che i singoli proprietari continuino ad apportare modifiche ai locali che deturpano l'integrità della struttura.