Han var innvalgt på det færøyske Lagtinget for Eysturoy fra 1970 til 1988 og medlem av Lagtingets delegasjon til Nordisk råd. Han var også vararepresentant til det danske Folketinget for Færøyene fra 1979 til 1998, og møtte fast på Folketinget for Pauli Ellefsen og Edmund Joensen mens de var regjeringssjefer på Færøyene fra 1981 til 1985 og fra 1994 til 1998.[1][2] Johannes Martin Olsen var tilsluttet det danske partiet Venstres folketingsgruppe.[2] På Sambandsflokkurins landsmøte i 1998 stilte han som motkandidat til Edmund Joensen ved formannsvalget, men Joensen ble gjenvalgt.[3][4][5]
Etter tiden i Folketinget har han vært bosatt i Randers i Danmark.[1]