1825 wurde er in das Abgeordnetenhaus von Virginia gewählt, wo er 1826 und dann noch einmal von 1829 bis 1832 tätig war. Ferner vertrat er 1829 Virginia bei dessen Verfassungskonvent und war 1832 Präsidentschaftswahlmann für die Demokraten. Anschließend wurde er als JacksonDemokrat in den 25. US-Kongress gewählt, wo er den 12. Wahldistrikt von Virginia vertrat. Er verblieb dort vom 4. März 1837 bis zum 3. März 1839.
Danach wurde er 1847 als Demokrat in den US-Senat gewählt, um das Amtzu füllen, das durch den Tod von Isaac S. Pennybacker frei geworden war. Er wurde 1850 und 1856 wiedergewählt. Mason war dort vom 21. Januar 1847 bis zum 28. März 1861 tätig.
Als der Amerikanische Bürgerkrieg ausbrach, verließ er Washington, ohne von seinem Sitz im US-Senat zurückzutreten. Er war einer von zehn Südstaatensenatoren, die für ihre Unterstützung der Rebellion am 11. Juli 1861 in Abwesenheit des US-Senats verwiesen wurden. Während seiner Zeit im US-Senat war er während des 34. und 35. US-Kongresses der President Pro Tempore im US-Senat. Ferner war er der Vorsitzende des Committee on Claims (30. US-Kongress), des Committee on the District of Columbia (31. US-Kongress), des Committee on Foreign Relations (vom 32. bis zum 36. US-Kongress) und des Committee on Naval Affairs (32. US-Kongress).
1850 verfasste er die zweite Version des Fugitive Slave Law of 1850.
Nach der Sezession von Virginia 1861 wurde James Murray Mason in den Provisorischen Konföderiertenkongress gewählt. Im selben Jahr wurde er zum Botschafter der Konföderierten Staaten in Großbritannien und Frankreich ernannt. Das Schiff, mit dem er nach England reiste, der britische Postdampfer Trent, wurde am 8. November 1861 von den Union aufgebracht. James Murray Mason wurde gefangen genommen und in Fort Warren in Boston Harbor inhaftiert. Die daraus resultierende Trent-Affäre führte fast zum Kriegseintritt Großbritanniens auf Seiten der Konföderierten. Mason wurde am 1. Januar 1862 entlassen und setzte seine Reise nach London fort. Dort angekommen, repräsentierte er die Konföderierten Staaten bis zu ihrem Untergang im April 1865. Er lebte bis 1868 in Kanada und kehrte dann nach Virginia zurück.
Mason verstarb 1871 bei „Clarens“, nahe der Stadt Alexandria, Virginia, wo er auf dem Christ Church Episcopal Cemetery beigesetzt wurde.