La prima costruzione di questa chiesa risale al VII - VIII sec. ad opera di monaci basiliani. Infatti i locali sottostanti adibiti a cripta dovevano certamente formare l'antico oratorio basiliano. La chiesa attuale dovrebbe risalire al X - XI sec. Nel tempo ha subito diversi rifacimenti tanto da perdere il suo originario stile. Un rifacimento totale della chiesa fu eseguito nella prima metà del XVIII sec. Conserva un bel portale del 1400 mentre il campanile, che era della stessa epoca, è stato rifatto più recentemente negli anni Cinquanta e da ultimo negli anni Novanta. La chiesa è a tre navate. Si accede in essa sia da via Duca degli Abruzzi che da via Conte di Torino ove è l'entrata principale. Da quest'ultima si accede attraversando un atrio chiamato "Cimiterio". La volta della navata centrale fino agli anni Cinquanta era a cassettoni variamente colorati. Nel tempo è steto ritoccato e rifatto svariate volte nell'ultimo restauro è stato rifatto a cassettoni. Appena varcata la soglia della navata centrale, sulla sinistra, vi è la fonte battesimale in pietra lavorata risalente al XVI - XVII sec. Essa è sormontata da una copertura piramidale in legno. Al centro sopra la porta d'ingresso vi è un grande affresco raffigurante l'avvenimento biblico della "Strage di Sennacherib". Sopra questo affresco ai due lati, altri due affreschi rappresentano gli evangelisti, San Luca quello di sinistra e San Marco quello di destra. Questi affreschi furono eseguiti nel XVIII sec., ma si ignora il nome dell'artista. Questa navata termina con un presbiterio in cui fino agli anni cinquanta vi erano ancora un coro ligneo ed un organo a canne. Sia l'organo che il coro furono tolti perché troppo deteriorati e non recuperabili. L'antico organo a canne, risalente al Cinquecento, era posto sulla parete di fondo. Eliminato l'organo, al suo posto fu aperta una finestra, la quale venne chiusa con un vetro istoriato con impresso un dipinto raffigurante la visita della Vergine Maria a sua cugina Sane Elisabetta. Il coro in legno intarsiato portava la data del 1573. L'altare maggiore si presenta con motivi floreali nella parte superiore, mentre sul paliotto della prima metà del XVIII sec. nella parte frontale, si notano figure di volatili quali colombi, passeri, etc. Ai lati del paliotto, in due ovali alquanto piccoli, vi è dipinta l'immagine della Madonna col Bambino. Completano il presbiterio due grandi dipinti sulle pareti dei due lati dell'altare maggiore. Entrambe queste opere furono eseguite da Cosimo Sampietro da Bernalda nel 1901. Racchiudeva il presbiterio una balaustra in ferro battuto del XIX secolo. Nella navata di destra appena all' inizio della chiesa si può osservare un altro affresco raffigurante la "Cacciata dei mercanti dal tempio". In quella di sinistra, invece, vi è un affresco a forma romboidale nel quale è raffigurato il sacrificio di Isacco con Abramo armato di coltello. Nelle due navate laterali si sussegue una serie di altari e al di sopra di questi sono delle nicchie racchiuse con vetro che contengono alcuni santi (S ant' Agnese, Santa Lucia, l'Addolorata e l'Immacolata da un lato, dall'altro S ant' Antonio, la Madonna del Carmine, l'Assunta e la Madonna dell'Icona). In fondo alla navata di sinistra vi è un altare al di sopra del quale era custodito un pregevole trittico. Il campanile è dotato di tre campane delle quali la più grande, il "campanone", veniva sciolto all'approssimarsi dei temporali, per allontanarli con il suo suono. Nella sagrestia gli armadi in legno sono ben conservati. Essi furono realizzati da Matino Fusco da Lagonegro nel 1748. Accedere dalla chiesa alla sottostante cripta, prima era possibile anche dal fondo della navata di sinistra, mentre ora lo è solo da quella di destra ove, prima di imboccare la scala di accesso, è sospesa un' acquasantiera datata 1518. Questa chiesa era retta nel passato, secondo la bolla del 1546 del pontefice Paolo III, che la elevava a collegiata insigne, da un capitolo con a capo un Prevosto, da 10 canonici, 3 mansionari, il maestro delle cerimonie, il lettore, l'organista, il sagrestano e alcuni chierici. Il capitolo viveva con i proventi della chiesa, derivanti da introiti di vario genere, quali messe, decime sui raccolti, censi, etc. Con la legge del 1866, allorché vennero soppresse alcune comunità religiose che facevano vita in comune, anche le chiese subirono dei danni poiché furono private di molte proprietà incamerate dallo Stato. Dalla Chiesa di Santa Maria Maggiore lo Stato incamerò 40 ettari di terreni e 11 case. I terreni furono poi venduti all'asta divisi in 20 lotti. Questa chiesa è stata certamente anche la prima cattedrale della diocesi di Tursi a partire dal 968, quando a Tursi venne conferito il titolo di Sede Vescovile. In essa si osservò prima il rito greco e poi quello latino, almeno fino al XII secolo, quando furono abolite del tutto le diocesi di rito greco istituite dai Bizantini. La chiesa ritornò in auge nel 1546 quando la diocesi venne definitivamente trasferita da Anglona a Tursi e il titolo di cattedrale venne concesso alla chiesa della SS. Annunziata, perché ubicata in luogo pianeggiante e quindi più comoda per il vescovo ed i fedeli. La chiesa della Rabatana già cattedrale si aspettava una riconferma ed allora, quale risarcimento per il mancato titolo, venne elevata dal pontefice Paolo III a Collegiata Insigne e le venne assegnato un clero come ad una cattedrale. In essa si venera la Madonna dell'Icona, la cui festa cade il 2 luglio di ogni anno. La statua per lo stile e per il nome è ritenuta essere opera di maestranze orientali e risalire al periodo delle persecuzioni iconoclastiche, mentre appare più possibile che essa sia un rifacimento di una originale effigie. Si legge in un documento del 1807, conservato nella sagrestia, che in questa chiesa si custodivano le reliquie di Sant' Antonio di Padova, di San Francesco di Paola, di Sant'Irene e della Maddalena.