S-a născut într-un sat de lângă Viena, într-o familie catolică, fiul unui inspector școlar. După ocuparea Austriei de către Germania Nazistă, a devenit membru al organizației studenților Național-Socialiști (naziști), iar în 1941 a fost încorporat în armată, și a luptat pe Frontul de Est. În 1943 a fost rănit și a fost detașat în sudul Balcanilor, unde a desfășurat activități împotriva insurgenților.
În 1945 s-a predat autorităților britanice și ulterior a început cariera sa diplomatică, fiind ambasador în diverse state și ministru al Afacerilor Externe.
A fost înfrânt în alegerile pentru postul de președinte al Austriei în 1971 dar în același an a fost ales pentru postul de Secretar General al ONU. În 1986 a fost ales președinte al Austriei, dar la scurt timp după ocuparea postului a ieșit la iveală faptul că Waldheim a mințit despre perioada petrecută în Wehrmacht (armata nazistă), devenind astfel persona non grata în multe țări, inclusiv Statele Unite.