Gaul werd geboren in Luxemburg-Pfaffenthal, een wijk van de hoofdstad. Tussen 1953 en 1962 was hij profwielrenner. Naast zijn eindoverwinning in 1958 wist Gaul in 1955 en 1961 een derde plaats in het eindklassement van de Tour te behalen. In 1956 en 1959 won hij het bergklassement. Ook in de Ronde van Italië was hij succesvol. In 1956 en 1959 won hij deze ronde en het bergklassement.
Hij had twee bijnamen: De Engel van het Gebergte, refererend aan zijn klimcapaciteiten, en Monsieur Pipi. De laatste dankte hij aan het feit dat hij in 1957 de winst in de Giro verspeelde door een uitgelopen plaspauze.
Gaul was zes keer kampioen van Luxemburg op de weg en bovendien twee keer nationaal kampioen veldrijden. Na zijn tweede echtscheiding leidde hij een teruggetrokken bestaan. Gaul werd gekozen tot de Luxemburgse Sportman van de twintigste eeuw. Hij was een groot fan van Marco Pantani wiens aanvalslust hij bewonderde.
Op 6 december 2005 overleed hij, twee dagen voor zijn 73e verjaardag, aan de gevolgen van een longembolie.