Prva naselja u Albi su nastala u brončanom dobu (3.000-600. pne.), a nakon što su ga od Gala osvojili Rimljani 51. pne., mjesto se u doba Rimljanja zvalo Civitas Albiensium, tj. prostor Albiga, Albigeoisa.
God. 1040., Albi je proširen na drugu stranu rijeke izgradnjom Starog mosta (Pont Vieux), i grad je rastao zahvaljujući trgovinskoj razmjeni. U gradu su tijekom 12. i 13. stoljeća su Katari (heretici koji su razvili svoj oblik kršćanstva) imali jedno od svojih glavnih središta. God. 1208., papa i francuski kralj su poduzeli Albingeški križarski rat koji je okončao potpunim unštenjem Katara, a područje koje je do tada bilo gotovo neovisno anektirala je Francuska.
Po okončanju progona Katara, biskup Bernard de Castanet je koncem 13. stoljeća završio biskupski dvor Palais de la Berbie koji je izgledao poput utvrde jer je još uvijek bilo nezadovoljnih potomaka Katara. On je započeo i gradnju Katedrale sv. Cecilije (Cathédrale Sainte-Cécile d'Albi) 1282. godine. Grad je ponovno počeo napredovati, uglavnom zahvaljujući uzgoju biljke Isatis tinctoria koja se koristi za bojanje tkanina. Bogate renesansne vile svjedoče o bogatstvu trgovaca pastelama.
Albi je sačuvao bogatu arhitektonsku baštinu iz različitih povijesnih razdoblja, a i opsežna restauratoracija je u tijeku kako bi četvrti od opeke zasjale starim sjajem.
Albi je iznikao oko biskupskog grada koji čine zgrade oko Katedrale sv. Cecilije na površini od oko 63 hektara. Građevine su uglavnom građene od crvene, tzv. Languedoc opeke, i ukrašene su emajliranim pločicama.
Gotička Katedrala sv. Cecilije (Cathédrale Sainte-Cécile d'Albi) se gradila od 1282. do 15. stoljeća i tada je bila najveća građevina od opeke na svijetu[1]. Odlikuje se velikim kontrastom škrtom utvrbenom vanjštinom i raskošno dekoriranom unutrašnjošću. Ova masivna građevina od opeke je izgrađena kao vizualno svjedočenje kršćanstva kao prkos katarskoj herezi i ukrašena je tijekom stoljeća. Najpoznatiji ukrasi su portal (Dominique de Florence), 78 m visoki zvonik, baldahin nad ulazom (1515.-1540.) i oltarna pregrada koja je zapravo gotički filigranski rad u kamenu sa skupinama višebojnih skulptura (više od 200 figura) burgundijskih radionica iz Clunyja.
Biskupska palača Palais de la Berbie je starija od Avignonske palače i jedan je od najbolje sačuvanih dvoraca u Francuskoj. Dovršena je u 13. stoljeću, a ime joj potječe od okcitanske riječi "Bisbia", što znači "Biskupska". Danas je pretvorena u Muzej Toulouse-Lautrec. U muzeju se nalazi više od 1000 njegovih djela, uključujući i 31 slavni umjetnikov poster; to je najveća kolekcija djela Toulouse-Lautreca na svijetu.
Stari most (Pont Vieux) izgrađen od kamena 1035. godine, a kasnije obložen opekom, je još uvijek u uporabi. Dug je 151 metar, a čini ga osam lukova. U 14. stoljeću utvrđen je i ojačan s pokretnim mostom i tornjem na obali.
U Albiju je također poznata i srednja škola Lycée Lapérouse, čijih je oko 500 učenika smješteno u prostorijama starog samostana.
1) Zajednička svjetska baština Belgije i Francuske2) Zajedno sa 5 drugih alpskih zemalja
3) Zajednička svjetska baština Francuske i Španije4) Nematerijalna svjetska baština više zemalja [1]