L' epoca della costruzione della Chiesa dell' Immacolata risale agli anni 1654-1657, così come risulta da una relazione della Confraternita omonima presentata nel 1862 al Consiglio Generale degli Ospizi della Provincia di Terra d'Otranto.
In detta relazione viene affermato che, in occasione della Santa Visita effettuata in Carmiano nel 1654 dal Vescovo Mons. Luigi Pappacoda, un gruppo di fedeli lo informò che a circa duecento metri dall' abitato si trovava seminterrata tra i ruderi, probabilmente di un' antica chiesa, un' immagine della Madonna Immacolata che, invocata da numerosi ammalati, aveva sempre operato delle miracolose guarigioni. Pertanto questi devoti chiesero al Vescovo l' autorizzazione di costruire in quel posto una chiesetta a spese di tutto il popolo, per custodire quell' immagine abbandonata e di dedicare il tempietto al culto della miracolosa Madonna Immacolata.
Il Vescovo rilasciò il suo benestare a determinate condizioni, e quando tre anni dopo, nel 1657, ritornò per effettuare la sua seconda Visita Pastrale, trovò la Chiesa già costruita.
Dopo altri cinque anni, cioè nel 1662, in occasione di un' ulteriore Santa Visita, avendo trovato la Chiesetta in questione completa in ogni sua parte e arricchita di ogni necessaria suppellettile, la consacrò al culto della Vergine Immacolata e ne fissò la festività per l' 8 Dicembre.
Col passare del tempo questo tempietto diventò il centro del "Culto Mariano" e, in occasione di eventi bellici e di calamità, tutti andavano a prostarsi davanti a Maria Santissima per implorare la sua intercessione.
Dopo la costruzione dell' Altare Maggiore, nel 1683 fu eretto l' Altare di Santa Rosa da Lima a spese e devozione del Signor Sebastiano D'Agostino;poi quello di Sant'Antonio di Padova, a spese e devozione dei fedeli, ma più di tutti del Sac. Giuseppe Albanese, in seguito restaurato a spese di Frate Viscia di Mesagne, verso la metà del 1700.
Nel 1696 fu costruita la sacrestia.
Il Sac. Giuseppe Albanese, oltre ad avere contribuito alla costruzione dell' Altare di Sant' Antonio di Padova, fece anche erigere a sue spese , intorno al 1680, l'Altare della Deposizione e della Pietà.
A distanza di circa un secolo, cioè verso il 1776, questo Altare venne restaurato dal Sac. Giuseppe Martinelli di Mola di Bari, il quale fece anche sopraelevare il caseggiato attiguo alla Chiesa, dove vi dimorò egli stesso per circa tre anni.
Alla sua morte, avvenuta nel 1779, così come da lui stesso predisposto, venna sepolto nella Chiesa accanto all' Altare della Pietà.
Intorno, poi, al 1882 l'Altare della Pietà fu modificato alla base per permettere di collocare sotto la sua mensa il Simulacro di Cristo Morto.
Nel 1900 il nobiluomo Adolfo Testù, parigino per nascita, ma residente per molti anni a Lecce e poi a Carmiano per circa trent' anni, poichè era devotissimo di Maria SS. Addolorata, fece ammodernare a sue spese l'Altere della Pietà con la mensa e la colonnina di marmo , e lo arricchì facendovi aggiungere dei candelabri di bronzo.
Intanto era stata istituita nel 1852 la Confraternita dell' Immacolata, che provvide successivamente al restauro generale della Chiesa.
Nel 1882 fece indorare di oro zecchino l'Altare Maggiore con l' intervento dell' opera dei fratelli Arganese, artisti napoletani; nel 1908 fece costruire la grande sacrestia; nel 1914 furono allestiti in marmo la mensa ed i gradini dell' Altare Maggiore, la balaustra ed il pavimento; nel 1917 fu installato l' impianto elettrico in tutta la Chiesa.