El club va ser fundat el 22 d'agost de 1894. Jugà el primer partit el 15 de novembre del mateix any perdent amb el Vienna Cricket and Football Club per 0 a 4. Els seus primers títols foren a la Copa Challenge, una competició que reunia els clubs de l'Imperi Austrohongarès. L'època daurada del club foren els anys 30 i 40. El Viena guanyà la copa austríaca el 1929 i 1930, proclamant-se campió nacional el 1931, títol que repetí el 1933. A més, es proclamà campió de la Copa Mitropa el 1931. Una tercera copa l'aconseguí el 1937.
Amb l'annexió del país per Alemanya (Anschluss) el 1938, les competicions futbolístiques dels dos països s'uniren. El 1943 el Vienna es proclamà campió de la copa alemanya. L'any 1946 guanyà la Copa Liberation, trofeu donat pels soviètics per celebrar l'alliberament del país. Malgrat aquest títol, el club es mantingué en un segon pla a partir d'aquell any, només trencat pel campionat austríac assolit el 1955.
Actualment està esponsoritzat per l'empresa Fernwärme.
