Mathias var stadsåklagare i Frederick 1954–1959. Han besegrade sittande kongressledamoten John R. Foley i kongressvalet 1960. Han omvaldes 1962, 1964 och 1966. Mathias besegrade sittande senatorn Daniel Brewster i senatsvalet 1968. Han besegrade demokratenBarbara Mikulski i senatsvalet 1974 med 57% mot 43% för Mikulski. Han vann sedan lätt mot Edward T. Conroy i senatsvalet 1980. Demokraten Conroy profilerade sig som mera konservativ än Mathias. Som liberal republikan hade Mathias ett svårt förhållande till Ronald Reagan och han bestämde sig för att inte ställa upp i senatsvalet 1986. Mathias efterträddes i januari 1987 som senator av demokraten Mikulski.
.svg)