Formé à Besançon comme attaquant, Joël Germain connaît l'apogée de sa carrière à Caen, alors qu'il est converti en défenseur central par l'entraîneur Daniel Jeandupeux. Il y dispute 168 de ses 179 matchs de première division, ainsi que deux matchs de coupe d'Europe[1]. Il est semble-t-il le premier joueur à concéder trois penalties au cours d'un même match de première division française, lors du match contre le RC Strasbourg au Stade de la Meinau le 1993. Pour anecdote, les trois penalties sont transformés par Frank Lebœuf[2].
Il quitte le club normand pour Lille à la suite de la relégation des Caennais en deuxième division en 1995. L'année suivante, il part au Stade de Reims, ancien grand club qui patine en National 3, où il retrouve son poste d'attaquant[3]. En deux saisons il marque 36 buts en 41 matchs de championnat.
Il devient par la suite entraîneur. Il prend notamment en main l'équipe de l'US Orléans, dont il est joueur à la fin des années 1980, pendant quatre saisons (en DH puis en CFA2)[4]. En 2009 il est recruté par le Bayeux FC, club de DH. Il quitte le club en 2013[5] et décide de se reconvertir hors du football[6].