Gerl commença à travailler comme orfèvre, mais la crise économique de 1929 le frappa de plein fouet et le mit à la rue.
Dans l'agitation culturelle et intellectuelle de Vienne la rouge, il s'inscrivit dès 1929 aux Jeunesses socialistes autrichiennes en réaction à la montée des courants fascistes dans la région. Il prit part en aux combats de rue contre le régime austrofasciste. Après une fuite en Tchécoslovaquie, il revint à Vienne pour reprendre le combat.
Il fut arrêté à la suite de sa participation à un attentat sur une ligne ferroviaire viennoise en 1934, jugé, et condamné le même jour à mort. Josef Gerl fut pendu le .
Aujourd'hui
La rue Gerlgasse dans le troisième arrondissement de Vienne fut nommée d'après Josef Gerl.
