Secondo la tradizione petrina, diffusa in tutta la Puglia, l’apostolo Pietro, nel suo viaggio verso Roma, sbarcato a Taranto, vi avrebbe fondato la prima comunità cristiana, e avrebbe consacrato Amasiano come primo vescovo. Altro vescovo attribuito dalla tradizione a Taranto fu san Cataldo, patrono dell’arcidiocesi, che studi recenti tuttavia collocano fra il VII e l’VIII secolo.

La diocesi è documentata con certezza sul finire del V secolo. In una lettera di papa Gelasio I (databile tra il 492 e il 496), il pontefice annuncia alla comunità cristiana di Taranto l’invio del nuovo vescovo Pietro, consacrato a Roma; questo vescovo potrebbe essere identificato con altri vescovi omonimi, ma senza indicazione della sede di appartenenza, menzionati nelle lettere di papa Gelasio, e con il vescovo Pietro, senza indicazione della diocesi, che prese parte al concilio romano del 495. Grazie all’epistolario di Gregorio Magno, sono noti altri due vescovi tarantini tra VI e VII secolo: Andrea (593), accusato a Roma di concubinaggio e di aver causato la morte di una donna; e Onorio, che nel 603 fece costruire un battistero presso la ecclesia sanctae Mariae.

Tra VII e VIII secolo, tre vescovi tarantini presero parte a sinodi romani. Giovanni I partecipò al concilio lateranense del 649 indetto da papa Martino I per condannare l’eresia del monotelismo. Germano nel 680 fu tra i padri del concilio romano di papa Agatone, che ancora una volta condannò il monotelismo; la sua firma appare nella lettera sinodale inviata a Costantinopoli e annessa agli atti del concilio ecumenico del 680/681. Aufredo partecipò nel 743 al concilio convocato da papa Zaccaria.

La città di Taranto subì alterne vicende, conquistata prima dai Goti, poi dai Bizantini, presa dai Longobardi, e per quarant’anni occupata dai Saraceni. In tutto questo periodo la diocesi rimase sempre sotto la giurisdizione della Chiesa d’Occidente e dei papi di Roma, anche dopo la presa definitiva dei bizantini alla fine del IX secolo. Benché il rito dominante fosse quello latino, comunità di lingua e di rito greco si svilupparono nell’entroterra e in alcune comunità monastiche. In un documento del 978 del principe di Capua Pandolfo, Giovanni II fu il primo a ricevere il titolo di arcivescovo. Il secondo arcivescovo noto è Dionisio, che nel 1028, ventunesimo anno del suo pontificato, fece donazione ai monaci di Cava della chiesa di San Benedetto.

Nella seconda metà dell’XI secolo Taranto fu conquistata dai Normanni. Il primo arcivescovo dell’epoca normanna è Drogone, che nel 1071 eresse la cattedrale, dopo che la precedente fu distrutta dai Saraceni. Le fonti dell’epoca riportano che durante gli scavi per il nuovo edificio furono trovate le reliquie di san Cataldo, proclamato patrono della città e della diocesi.

L’arcivescovo Angelo, sulla cattedra tarantina alla fine del XII secolo, fu impiegato in parecchie ambasciate vicino a papa Innocenzo III. «La città aveva in questo periodo importanti monasteri: da ricordare quello benedettino di San Pietro Imperiale, quello basiliano di San Vito del Pizzo e quello cisterciense di Santa Maria del Galeso. Vi erano anche due monasteri femminili… Nel XV secolo si insediarono i francescani (minori osservanti), i domenicani e gli agostiniani. Nel secolo successivo avremo anche i minimi, i fatebenefratelli e i carmelitani calzati.»

La provincia ecclesiastica dell’arcidiocesi di Taranto è documentata a partire dal XII secolo; originariamente comprendeva le diocesi di Castellaneta e di Mottola; nel 1591 fu aggiunta la diocesi di Oria.

Il cardinale Marcantonio Colonna introdusse la riforma tridentina ed istituì il seminario arcivescovile, inaugurato il 1º giugno 1568. Lo stesso vescovo indisse un sinodo provinciale per attuare i decreti conciliari. I numerosi sinodi celebrati dagli arcivescovi nel corso del Seicento favorirono l’opera di riforma morale e religiosa dell’arcidiocesi, sulla scia del tridentino; tra i prelati si distinsero in particolare gli arcivescovi Ottavio Mirto Frangipane (1605-1612), Bonifazio Caetani (1613-1617), il teatino Tommaso Caracciolo (1637-1663), e Francesco Pignatelli (1683-1703), nominato in seguito arcivescovo di Napoli.

Tra Settecento e Ottocento, la vita e la storia dell’arcidiocesi è segnata dal lungo episcopato di Giuseppe Capecelatro (1778-1817). «Questo eminente arcivescovo, che per le sue doti culturali vantava conoscenze in tutte le corti europee, compresa quella di San Pietroburgo, oltre che un fine intellettuale e politico, fu anche un attento pastore della diocesi, come attestano le sue visite pastorali e i numerosissimi editti emanati in circa quaranta anni di episcopato: disciplina e cultura del clero, un’aggiornata ratio studiorum per il seminario, la catechesi al popolo in lingua italiana, l’assistenza ai moribondi, l’attenzione al complesso mondo confraternale, la lotta alla superstizione per vivere una fede più autentica sono alcuni degli elementi portanti e costanti di tutta la sua feconda e incisiva azione pastorale».

Tra Ottocento e Novecento l’arcidiocesi fu guidata da altre grandi figure di vescovi: Giuseppe Rotondo (1855-1885), che non accettando l’unità d’Italia, fu esiliato prima a Napoli e poi a Roma; Pietro Alfonso Iorio (1885-1908), che introdusse in diocesi l’Azione Cattolica; Orazio Mazzella (1917-1934), che difese a oltranza le istituzioni cattoliche contro i soprusi del governo fascista.

Agli inizi del Novecento furono aboliti gli ultimi resti del rito greco; infatti nelle feste principali dell’anno liturgico, la seconda lettura e il vangelo venivano cantati in cattedrale prima in latino e poi in greco.

Nel 1968 papa Paolo VI visitò la città e l’arcidiocesi e celebrò la messa della notte di Natale tra gli operai del Centro siderurgico tarantino. Nell’ottobre del 1989 san Giovanni Paolo II fece la visita pastorale all’arcidiocesi tarantina.

L’arcivescovo Guglielmo Motolese governò la sede tarantina per trent’anni, dapprima (1957) come amministratore apostolico sede plena, a causa della malattia che colpì l’anziano arcivescovo Ferdinando Bernardi, e poi come arcivescovo; a lui si deve la decisione di costruire un nuovo grande edificio di culto nella parte nuova della città, dedicato alla Gran Madre di Dio, realizzato dall’architetto Gio Ponti ed inaugurato il 6 dicembre 1970. Lo stesso Motolese fu vescovo di Castellaneta dal 1974 al 1980, unendo così per sei anni in persona episcopi le due sedi.