Dalle vicende storiche generali dell'intero Borgo è presumibile che il Castello fosse la sede, almeno periodica dei signori che si avvicendarono nel possesso del feudo di Cellamare.
Da un manoscritto anonimo si ricavano informazioni sui passaggi di proprietà riguardanti la Terra di Cellamare e quindi il Castello:

"... nell'anno 1455 addì 10 agosto D. Giovanna di Gesualdo asserendo di tenere in feudo dalla regia corte la Terra di Cellamare vendè la medesima a Raffaele Barnaba e Renzio de Marra, alla quale vendita pose il suo assenso il re Alfonso."

"Nell'anno 1465 il re Ferdinando volle confermare la vendita della Terra di Cellamare in persona dei medesimi Raffaello Barnaba e Renzio de Marra, terra che possedettero poi i loro discendenti sino all'anno 1562, come ci fan sapere i cronisti di quell'epoca e ci riassicura il Giustiniani. In seguito la Terra di Cellamare fu acquistata dalla famiglia del Giudice, anch'essa potente e rinomata..."

"Finalmente Cellamare passò sotto il dominio della famiglia Caracciolo per vendita fatta dalla casa del Giudice, ma è incerto l'anno in cui i Caracciolo ne divennero possessori".

Cellamare era definita "castellum", che era il diminutivo di "castrum" ed indicava un borgo cinto da mura che sorgeva in altura. Il castello era differente dall' "oppidum", che era un centro fortificato da mura con molti abitanti.
In epoche successive Cellamare fu detta "terra".