Heckmair vokste opp i et barnehjem i München. I elleveårsalderen ble han sendt på et sommeropphold til Sveits, og der våknet interessen for fjellet.
Han tok gartnerutdanning, men ble arbeidsløs etter krakket i 1929, og arbeidet kun kort tid i yrket. Deretter slo han seg ned i Alpene og tjente til et beskjedent livsopphold ved å ta kjøkkentjeneste i forskjellige turisthytter.
Som klatrer mestret Heckmair ekstreme vegger i Øst- og Vest-Alpene, og i Dolomittene. Juli 1938 førstebesteg han Eigersnordvegg sammen med sin venn Ludwig Vörg og østerrikerne Fritz Kasparek og Heinrich Harrer. Som den mest erfarne i gruppa, tok Heckmair føringen over de vanskeligste partiene under oppstigningen. Likevel fikk han flere problemer, blant annet gled han, men ble reddet av Vörg som fikk hånda gjennomboret av Heckmairs kramponger da han grep ham i foten. Ruta de brukte, Heckmair-Route, er den mest kjente og brukte ruta på Eigers nordvegg.
Suksessen på Eiger førte til at Heckmairs navn ble kjent over hele verden, og spesielt i hjemlandet hvor han blant annet fikk audiens hos Adolf Hitler (som han kjente fra før gjennom et samarbeid med Leni Riefenstahl). Selv om nazistene brukte Heckmairs bedrifter i propagandaen, unngikk han publisitet og meldte seg aldri inn i NSDAP.
Sønnen Andreas «Andi» Heckmair spesialiserte seg på turer med terrengsykkel, og etablerte i 1991 den såkalte Heckmair-ruta (Oberstdorf – Riva) som var den første av en mengde senere sykkelruter over Alpene.
