Començà a les categories inferiors del FC Aarau l'any 1944. La temporada 1953/54 va jugar a la Lliga Nacional B amb el Winterthur FC, i, finalment, un any més tard fitxà pel Grasshopper-Club Zürich, on obtingué els seus majors èxits. L'any 1954 fou segon a la lliga. El 1956 guanyà el doblet (lliga i copa), seguit de dos subcampionats consecutius el 1957 i 1958.
El 16 d'abril de 1958 Karl Elsener debutà a l'edat de 23 anys amb la selecció en un partit a París davant França que finalitzà amb empat a 0. En total jugà 34 partits amb la selecció, entre 1958 i 1966. Jugà dos Campionats del Món, el 1962 i 1966.
Acabà la seva carrera al Lausanne-Sports i al FC Luzern. A l'edat de 36 anys (1970) es retirà del futbol després de 18 anys a l'elit.
