Sita in via Cattedrale, presenta una facciata rettangolare in pietra calcarea, disadorna di decorazioni. Sempre all'esterno, da notare la piccola torre campanaria di stile barocco, in contraddizione con la gravità e severità dell'intera facciata. Lo spazio interno è suddiviso in due navate con volta a botte, delle quali la destra è di successiva realizzazione, risalente al 1643. Il nucleo più antico corrisponde alla navata situata a nord, al di sopra della "Grotta di S. Cleto". All'interno del tempio, di particolare rilievo è il polittico del 1537, opera di autore che si firma Z.T . Tale polittico rappresenta la Vergine e il Bambino con ai lati i Santi Biagio e Cleto, mentre nella parte inferiore della tavola sono raffigurati i fratelli incappucciati della Confraternita di S. Cleto fondata anteriormente al 1537.

Situata al di sotto della Chiesa del Purgatorio, presenta pianta rettangolare con volta a botte. La tradizione locale vuole che in questo ambiente si siano rifugiati i primi fedeli, per praticare il culto cristiano, sotto la guida spirituale di Cleto, considerato primo Vescovo di Ruvo e poi terzo Papa. In realtà il sito risale al II secolo d.C., ed è da identificarsi in un ambiente termale di età romana. Di forma rettangolare, con le pareti ad Est e Ovest realizzate in opus reticolatum (tipico rivestimento termale romano), con la presenza sul pavimento contiguo alla parete Ovest di un pozzo, tale ambiente molto probabilmente faceva parte di un complesso termale più ampio situato lungo uno dei due assi generatori dell'impianto viario dell' antica Rubi, corrispondente attualmente alla via Cattedrale. All'interno della " grotta" è collocata su di un altare la statua di S. Cleto, realizzata in pietra calcarea.