Colleget är beläget vid Woodstock Road i norra Oxford. Efter att 1950 ha instiftats som ett college för enbart manliga studerande, öppnade colleget 1962 även för antagning av kvinnliga studerande, som ett av de första tidigare exklusivt manliga collegen. Den viktorianska huvudbyggnaden uppfördes ursprungligen för den anglikanska orden Society of the Holy and Undivided Trinity, och senare har flera moderna tillbyggnader tillkommit.
Collegets namn anspelar på grundaren, den franske affärsmannen Antonin Besse, och den helige Antonius av Egypten valdes som namngivare, då denne traditionellt associeras med Mellanöstern som är ett av collegets främsta expertisområden.
