Erhards far og foredre i flere generasjoner var kantorer i Erzgebirge. Han ble i 1913 medlem av Thomanerchor i Leipzig, under ledelse av Gustav Schreck. Etter abitur gikk han på delstatskonservatoriet, hadde blant andre Karl Straube som lærer. i 1925 overtok han etter sin bror Rudolf Mauersberger som organist i Aachen. I 1928 ble han dosent ved musikkhøgskolen i Mainz.[9]