La fine di Orsoleo comncia già nel 1861,quando da luogo vivo,sede anche di diverse scuole importanti,viene avvolto dal silenzio;l'interno si spoglia delle antiche ricchezze e l'intero complesso si avvia verso una solitudine ed un abbandono sempre più profondi.
Nel 1940 il Banco di Napoli lo cede a privati e il convento è ridotto a masseria.Ma la chiesa è quasi intatta e l'8 settembre di ogni anno ritorna lieta di canti e calda di preghiere,in onore della festa della Madonna.
Nel '73 interviene la sovraintendenza alle Gallerie della Basilicata e "ordina" un primo restauro.L'interesse per l'antico convento sembra risvegliarsi(la questione arriva persino in Parlamento!),fino adarrivare a quello vivo e profondo che porta,negli anni '90,ad un attento e generale restauro.
Si comincia a riflettere anche su come riutilizzare il monastero di Orsoleo,su come "ridargli la vita":museo archeologico,centro polivalente di attività culturali,scuola e laboratorio di restauro,come proposto da un disegno di legge in Senato nel 1988.