Rodil se je v judovski družini, očetu Moritzu von Kármánu in materi Helene Konn. Bil je čudežni otrok.[6]
Von Kármán je študiral strojništvo na Kraljevi tehniški univerzi v Budimpešti, kjer je diplomiral leta 1902. Po diplomi je eno leto služil kot topniški kadet v Avstro-ogrski vojski. Po služenju je bil tri leta asistent za hidravliko na Tehniški univerzi. Leta 1908 je pod Prandtlovim mentorstvom doktoriral na Univerzi vGöttingenu. Na univerzi so nanj vplivali Klein, Hilbert in Prandtl. Tu je kot privatni docent poučeval štiri leta. Po kratkem obisku Pariza marca 1908 se je začel zanimati za letalstvo in aeronavtiko. Leta 1912 je sprejel mesto predstojnika Aeronavtičnega inštituta na Tehniški visoki šoli vAachnu (Rheinisch-Westfälische Technische Hochschule Aachen (RWTH Aachen)). Med letoma 1915 in 1918 je služil v Avstro-ogrski vojski, kjer je skonstruiral enega prvih helikopterjev.
V letu 1944 je pomagal ustanoviti Laboratorij za reaktivni pogon (Jet Propulsion Laboratory (JPL)), ki je sedaj v sklopu Nase. Leta 1946 je postal prvi predsednik Znanstvene svetovalne skupine, ki je raziskovala letalske tehnologije za Armadno letalstvo. Istega leta so ga izbrali za člana Kraljeve družbe iz Londona.