De club werd in 1908, net nadat Turks voetbal gelegaliseerd werd, opgericht als Vefa Terbiyeyi Bedeniye. Tot 1959 voetbalde Vefa SK in de Istanbul-voetbalcompetitie. In 1959 schreef de directie zich in voor de Süper Lig, waarin het aanvankelijk kleine successen kende. Zo eindigde de club datzelfde jaar op de derde plaats in de hoogste Turkse voetbalcompetitie. In 1972/73 behaalde Vefa SK de halve finale van de Turkse Beker, waarin het verloor van de winnaar van de beker, Galatasaray SK.
Voornamelijk in de jaren 50 werd Vefa SK, na Beşiktaş JK, Fenerbahçe SK en Galatasaray SK, gezien als de vierde populairste club van Istanbul (en Turkije). Nadat de eerder genoemde drie clubs steeds meer populariteit in gingen winnen in de jaren 70, zag men ook dat Vefa SK steeds slechter ging presteren. In 2000 degradeerde Vefa SK naar de Istanbul Amateurdivisie. Sinds het seizoen 2015-16 speelt de club in de Bölgesel Amatör Lig.