Da han var 17 år gammel dro han til sjøs, og var sjømann i åtte år før han begynte som fyrvokter i 1962. I 1960 flyttet han til Vannvåg i Karlsøy. Han kom inn i kommunestyret for Senterpartiet i 1979, og ble i 1987 ordfører, en posisjon han hadde i tolv år. I 1999 skiftet han fra Senterpartiet til Kystpartiet. Han var igjen ordfører i perioden 2003-2007. Tøllefsen var toppkandidat for Kystpartiet ved stortingsvalget i 2001 og 2005, og var i 2001 like ved å komme inn på Stortinget.
