Il primo ingresso dei Carmelitani Scalzi nella città di Bari risale al periodo in cui a guidare la diocesi era il vescovo napoletano Ascanio Gesualdo, il cui mandato durò dal 1613 al 1638.
Sono questi gli anni nei quali vengono emanati alcuni decreti per rinsaldare la disciplina ecclesiastica (ad pietatem colendam) ed è per tale motivo che venne favorito l’ingresso e lo stabilirsi, all’interno della città, di diversi ordini monastici, come quello dei Minimi di San Francesco di Paola, dei Minori Riformati di San Francesco e nel 1630 dei Carmelitani Scalzi.
La prima e temporanea sistemazione dei Teresiani fu la chiesa di S.Giovanni Battista (oggi S.Giovanni Crisostomo), dove vi andarono ad alloggiare il 30 maggio 1630, sotto la protezione dei signori Carducci.
Successivamente, in seguito all’intervento del governatore provinciale Diego Vergas, l’Università stanziò in loro sostegno un capitale di 2.500 ducati da pagarsi con una prima rata di 300 ducati e le successive da 200.
La piccola sede della chiesa di S.Giovanni Battista si rese immediatamente troppo angusta per soddisfare le esigenze dei Padri, i quali tentarono da subito di individuare una sistemazione più idonea.
Nel 1636 essi cercarono di insediarsi in una zona dell’allora campagna chiamata San Rocco e precisamente nella chiesa di S.Gregorio, detta de Mercatellis (si tratta cioè della piccola chiesa che si affaccia con un suo prospetto laterale sulla piazza antistante la Basilica di S.Nicola). Situazioni avverse impedirono, tuttavia, che le cose andassero come progettato e, non trovando altra soluzione, i Padri decisero di acquistare la casa dei signori Palumbo. Trasformata la nuova residenza in convento, essi vi andarono ad abitare nel 1637.
Tra i più importanti benefattori dell’Ordine ricordiamo Scipione Gironda, il quale lasciò al convento circa 8000 ducati. La metà di tale somma fu utilizzata per l’acquisto della casa dei signori Palumbo ed un’altra parte per comprare, dall’abate Giambattista Calò, un edificio dove si trova attualmente il complesso conventuale di S.Teresa dei Maschi. La chiesa vera e propria sorgerebbe, dunque, dove si trovava, allora, la chiesa di S.Gregorio de Falconibus (dal nome della strada), di proprietà dei signori Fanelli.
Quando le risorse economiche lo permisero i Carmelitani Scalzi realizzarono intorno al 1670 la loro casa conventuale e avviarono l’edificazione della chiesa nel 1690, terminandola dopo circa vent’anni a seguito delle diverse difficoltà cui dovettero far fronte.
Il 1° gennaio del 1711, secondo quanto riporta anche l’Archivio Storico Pugliese, fu scelto come giorno per la cerimonia inaugurale, che si svolse tra sfarzo di luci, suono di campane e musica.
In questa data si celebrò anche la nascita dell’Arciconfraternita della Gran Madre di Dio che aveva la sua sede presso questo complesso e che contava tra i suoi fondatori dodici confratelli della congregazione barese del Carmine (la cui sede era ed è presso l’omonima chiesa, allora guidata dai Padri Carmelitani dell’Antica Osservanza), i quali non avendo potuto ottenere dal priore l’assegnazione di un padre spirituale che somministrasse loro il sacramento della penitenza e il pabolo della parola di Dio, decisero di fondare in maniera autonoma un nuovo oratorio sotto il ministero dei frati di S.Teresa, che misero a loro disposizione, rifiutando qualsiasi compenso in denaro, il migliore locale del convento.
I fondatori della nuova congregazione istituirono un fondo comune per le spese relative alla struttura dell’oratorio e si impegnarono a fornire arredi sacri di vario genere, come tovaglie di altare, paliotti, pianete, camici, candelieri, calici e quadri.
Che il complesso della chiesa non fosse terminato per la fine del ‘600, malgrado l’iscrizione del portale rechi l’anno 1696, è confermato da due documenti: il primo risalente al 15 dicembre 1699 con il quale ai Padri era data licenza di smantellare a loro spese una torretta della casa dei signori Calò, che era rimasta isolata a seguito dell’erezione della nuova chiesa, potendo usufruire di tutto il materiale derivato da quella demolizione; il secondo del 29 maggio 1705 con il quale i Padri ricevevano in contanti 1.000 ducati da spendere per il completamento della cupola, delle vetrate, delle inferriate, di alcune porte e delle opere di tinteggiatura delle pareti.