Nel 1994 venne eletto governatore del Connecticut, diventando inoltre il più giovane al momento dell'elezione. Verrà poi rieletto per altri due mandati nel 1998 e nel 2002. Nei primi mesi del suo terzo mandato fu travolto da accuse di frode ed evasione fiscale che lo portarono ad una condanna a 10 mesi di prigione, a cui si è aggiunta anche quella a 4 anni agli arresti domiciliari. Rowland rassegnò perciò le dimissioni di governatore il 1º luglio 2004 lasciando l'incarico alla sua vice Jodi Rell.