Nato a Londra, debuttò sui palcoscenici del West End nel 1926, nel coro della rappresentazione di 'Betty of Myfair e successivamente si specializzò portando in diverse riviste il personaggio di Edwin Carp, un professore stralunato e distratto[1]. Passato a Broadway vi interpretò, fra le altre, la pièce Set to the Music di Noël Coward, accanto a Beatrice Lillie, e debuttò a Hollywood con la commedia La zia di Carlo (1941)[1], cui seguì il ruolo di uno dei professori nella brillante commedia Colpo di fulmine (1941), nel quale il regista Howard Hawks seppe mettere in risalto le doti comiche di Haydn[2].
Tra le altre sue interpretazioni di rilievo, da ricordare quella del domestico Thomas Rogers in Dieci piccoli indiani, versione diretta nel 1945 da René Clair del celebre romanzo di Agatha Christie, e quella del notaio Gerard Rosenthal (Herr Falkstein nella versione originale) in Frankenstein Junior (1974) di Mel Brooks. Interprete ideale nel genere commedia, per la sua caratteristica voce dai toni nasali, il talento per la mimica[1], la spontaneità e la capacità di calarsi in personaggi spassosi ed eccentrici[2], ebbe tra le migliori opportunità quella di prestare la voce al personaggio di Brucaliffo in Alice nel Paese delle Meraviglie (1951).
Scrisse anche alcuni libri riprendendo il personaggio di Edwin Carp e, verso la fine degli anni quaranta si cimentò dietro la macchina da presa[1] per dirigere alcune divertenti commedie[2], I cari parenti (1948), Abbasso mio marito (1949) e Assedio d'amore (1950). Morì nel 1985, a 80 anni, per un infarto.
