Eybler va néixer en una família de músics. El seu pare era mestre, director de cor i amic de la família Haydn. Joseph Eybler va estudiar música amb el seu pare abans de rebre classes en Stephansdom al Col·legi de Nens de la Catedral de Sant Esteve de Viena. Va estudiar composició amb Johann Georg Albrechtsberger, que va declarar que Eybler era el geni més gran de la música que hi havia a Viena, a part de Mozart. També va rebre elogis de Haydn, que era el seu amic, cosí llunyà i mecenes.
El 1792 es va convertir en director de cor a la Karmeliterkirche (església carmelita) de Viena. Dos anys més tard es va mudar a Schottenkloster, on va habitar durant trenta anys (1794-1824). Eybler també va ocupar alguns llocs en la cort, inclòs el de Kapellmeister (mestre de capella) (1824-1833). L'emperadriu Maria Teresa li va encarregar nombroses obres, incloent el Rèquiem en do menor (1803).
A través de Joseph Haydn, Eybler va conèixer Mozart, el qual li va donar algunes lliçons. A més, Eybler va interpretar com a violinista l'òpera Così fan tutte. L'amistat entre Mozart i Eybler es va mantenir fins al final. Eybler va escriure: "He tingut la sort de mantenir la seva amistat sense reserves fins que va morir, i aixecant, atenent i ajudant a la infermera durant la seva última i dolorosa malaltia". Després de la mort de Mozart, Constanze Mozart va demanar a Eybler que completés el rèquiem del seu marit. Eybler ho va intentar però no va poder completar l'obra potser, com es pensa, a causa del gran respecte que sentia per la música de Mozart (Franz Xaver Süssmayr va completar la tasca).
El 1833, Eybler va patir un vessament cerebral mentre dirigia el Rèquiem de Mozart i, posteriorment, no va poder complir amb les seves funcions a la Cort. Pels seus serveis a la Cort, Eybler es va elevar a la noblesa el 1835 i en endavant va ser conegut com a Joseph Leopold Edler von Eybler. Va morir el 1846.
