La leggenda narra che, nell'VIII sec., durante la persecuzione iconoclasta dell'imperatore bizantino Leone III Isaurico, i monaci che custodivano a Bisanzio l'icona della Madonna Odigitria, dipinta secondo la tradizione da san Luca, decisero di portarla a Roma per consegnarla a papa Gregorio III.

Due di essi, travestiti da marinai, si recarono al porto di Costantinopoli con il prezioso quadro custodito in una cassa e s'imbarcarono - grazie all'aiuto di due marinai baresi - sulla prima nave diretta in Italia. All'alba del primo martedì di marzo dell'anno 733, il vascello, salvatosi da una terribile tempesta, approdò infine al porto di Bari.

Ma i marinai baresi, i quali avevano scoperto il reale contenuto della cassa, costrinsero i monaci a lasciare a Bari la sacra immagine e tutta la cittadinanza la portò in una grande processione, in testa alla quale era l'Arcivescovo Bursa, in cattedrale. L'Arcivescovo ordinò infine ai due monaci di vegliare giorno e notte sull'icona insieme ad altri due sacerdoti del clero locale.

L'immagine barese non è certamente l'icona originale, distrutta probabilmente durante la conquista turca di Costantinopoli del 1453.

Si tratta probabilmente di una copia cinquecentesca (attribuita al pittore Onofrio Palvisino da Monopoli), eseguita sul modello dell'Odigitria, assai noto all'epoca in tutto il Mediterraneo.

I primi documenti che la citano risalgono in effetti alla fine del XVI sec., allorché l'Arcivescovo Antonio Puteo costituì la "Pia Associazione di Santa Maria di Costantinopoli" (1580), commissionando un prezioso altare in argento per l'icona (1592). Nel 1942, per implorare la pace, l'Arcivescovo Marcello Mimmi fece ornare il quadro dell'Odigitria con una cornice marmorea