Thoma era il figlio del pittore Josef Thoma senior. Studiò all'Accademia di Vienna e, dopo aver completato la sua formazione, ha lavorato come paesaggista nella stessa Vienna. I paesaggi alpini sono stati dei motivi frequenti nei suoi dipinti, acquerelli e disegni, influenzati dal romanticismo. Ha anche usato lo pseudonimoJ. Gärtner.[2] Era inoltre noto per le sue vedute della città di Ischl e Salisburgo, nonché per i paesaggi della Zillertal, della Val Pusteria e della Steyrtal.[3]
Non deve essere confuso con l'omonimo paesaggista dell'Eifel, Josef Thoma (1930–1988).
