La Porta di Santo Stefano è stata ed è ancora la più importante fra le quattro che si aprivano nella cinta muraria. Nel largo antistante, confluivano strade di primaria importanza, che garantivano il collegamento con Monopoli, Cisternino, Ostuni, Ceglie, Taranto, Grottaglie e Francavilla. Essa immetteva sulla strada principale della città, il Ringo ( via Vittorio Emanuele ) che conduceva all'unica grande piazza - p.zza Plebiscito -, centro religioso, amministrativo e giudiziario, su cui si affacciava la chiesa maggiore e la sede dell'Università. La strada, poi, proseguiva, a nord, verso la porta di Santa Maria. Questa porta è stata edificata e rifatta sempre nel medesimo luogo, ove è sita ancora oggi a partire dal 1388, anno in cui, fu affiancata dal castello di Raimondo Orsini, fatto costruire nell'angolo nord - orientale della cerchia muraria.
In origine, la porta era sormontata da una grande torre a base quadrata. Sui due lati esterni, seguivano, con andamento rientrante, le mura, che, a destra, si sviluppavano per un breve tratto per poi congiungersi alla cortina meridionale del castello. La porta più antica di cui si ha memoria era dotata di una struttura muraria massiccia con qualche locale al piano terra, a destra dell'entrata; al primo piano della torre si accedeva mediante una scala esterna addossata alla muraglia dal lato sinistro. Nel 1610 la porta viene abbattuta per essere ricostruita. Il progetto consisteva nello spostare un po' più verso il castello il basamento della porta, ai danni delle botteghe addossate al tratto di mura da demolire. La seconda porta dì S. Stefano conserva l'aspetto architettonico preesistente, sebbene, le dimensioni della pianta fossero più contenute, a fianco della cortina del castello, vi fosse un vano al livello del suolo. Nel primo Seicento l'intero assetto del recinto esterno, a sud della porta, fu radicalmente modificato, infatti, circa 85m di mura furono distrutti, in parte, per costruire edifici destinati ad abitazione, in altra, per concedere il suolo in locazione perpetua a quattro efiteuti che vi avrebbero fabbricato delle botteghe. Nel 1764 la porta fu nuovamente distrutta, per essere ricostruita sotto nuove sembianze. Essa perse ogni carattere militare per divenire l'attuale arco trionfale, recante nel proprio fastigio una piccola statua equestre di San Martino cui la porta stessa è dedicata. Fanno da contorno alla statua altri piccoli ornamenti, completano il tutto, un'iscrizione, nel mezzo dell'archivolto, e due fiaccoloni, sui lati.