Situato all'estremità Nord-Ovest della città in corrispondenza di uno degli spigoli del pentagono che il circuito delle antiche mura formava rispetto al centro abitato più antico, il castello costituiva il più importante caposaldo del sistema di difesa della città. Infatti, grazie ad esso, Ruvo in più occasioni dal XI al XV secolo ha potuto opporre eroica resistenza alle pressioni degli invasori. Attualmente dell'antico complesso sono leggibili la torre rettangolare, l'atrio e i bastioni della torre. Quest'ultima, risalente al X-XI secolo, è orientata lungo l'asse Nord-Sud, ed è corredata da un sistema di aperture che permetteva un controllo totale del territorio. Infatti le piccole monofore a Ovest (tipiche delle torri di difesa) controllavano l'ingresso alla città dell'antica Via Traiana, proveniente da Canosa; la bella bifora del XIII secolo sita sul lato Sud e la trifora a Nord del XIII secolo controllavano rispettivamente la strada proveniente da Gravina e quella proveniente da Molfetta che proseguiva nel paese tramite l'attuale Via Cattedrale; mentre le monofore e le logge (ora non più visibili integralmente) situate a Est guardavano verso il centro abitato. Attraversando l'arco Melodia, si entra nell'interno dove sono visibili le scale addossate alla torre, le monofore e le finestre dal lato Ovest della torre e un arco a sesto acuto, attualmente tompagnato, del XIII secolo il quale costituiva probabilmente uno degli ingressi dall' esterno, insieme all'attuale Arco Melodia. La torre e l'atrio erano inoltre inseriti in un sistema bastionato. Di fronte all'attuale Arco Melodia era invece situata la cosiddetta Torre del Pilota di forma circolare, alta 44 mt., munita di un bastione poligonale che, unitamente al castello, costituì nei secoli un valido presidio di difesa: crollò purtroppo il 18 Febbraio 1881.
Il Castello era poi separato dal centro abitato da una spianata situata ad Est della torre dove nel XIX secolo fu realizzato l'attuale Palazzo Melodia. Questo complesso edilizio realizzato dalla famiglia Montaruli, è a due piani, con sottotetto, dalla forma planimetrica articolata, con sviluppo sui fronti della piazza e di via Vuccolo, attuale via Boccuzzi. La pianta è caratterizzata da un imponente ingresso al quale si accede attraverso un portale posto su di un alto basamento lastricato che percorre l'intera facciata. Da questo si può quindi accedere ai locali adiacenti come anche al grande cortile interno, elemento caratteristico delle case a corte ottocentesche. La facciata, scandita da cinque aperture per ogni piano nelle sue sobrie linee neoclassiche si distingue per la parte basamentale in pietra e per il portone pricipale d'accesso incorniciato in uno pseudo pronao impreziosito da due colonne che reggono il balcone superiore. Il primo piano intonacato, si conclude con una vistosa cornice di coronamento. Si osserva che per accedere al primo piano è necessario utilizzare una scala a chiocciola ubicata nell'ultimo vano di accesso a sinistra di chi guarda il fronte dell'edificio, in quanto il portone principale immette in un vano privo di scale, da cui si accede nel retrostante cortile. Ingresso singolare dunque, che porta ad una considerazione circa il fatto che probabilmente l'edificio, nelle intenzioni del proprietario, doveva in qualche modo essere oggetto di completamento.