Michael Johanns je odrastao na porodičnoj farmi, da bi kasnije diplomirao pravo i počeo se baviti advokaturom u gradovima O'Neill i Lincoln u državi Nebraska.
Politikom se počeo baviti 1983. godine kada je izabran u savjet okruga Lancaster. Godine 1987. postao je članom gradskog vijeća u Lincolnu, a 1991. godine gradonačelnik. Na tu je dužnost ponovno izabran godine 1995.
Tri godine kasnije je izabran za guvernera, te ponovno izabran godine 2002. Planove da se kandidira po treći put je napustio nakon što ga je Bush 2. prosinca2004. imenovao za nasljednika Ann Veneman. Dužnost je nakon senatske potvrde preuzeo 20. siječnja2005.