Nach seiner anwaltlichen Zulassung in Massachusetts wurde er 1823 Rechtsanwalt in Peabody und war dort bis 1828 tätig. Während dieser Zeit begann er seine politische Laufbahn und war zunächst von 1825 bis 1826, wie sein Großvater, Mitglied im Repräsentantenhaus von Massachusetts, ehe er 1827 Mitglied im Senat von Massachusetts war.
1828 arbeitete er als Rechtsanwalt in Salem und erreichte öffentliche Aufmerksamkeit durch einige von ihm übernommene bedeutende Gerichtsverfahren.
Kongressabgeordneter und US-Senator
1830 wurde er als Kandidat der National Republican Party zum Mitglied in das US-Repräsentantenhaus gewählt und vertrat nach seiner Wiederwahl 1832 vom 4. März 1831 bis zum 30. Juni 1834 den zweitenKongresswahlbezirk von Massachusetts. Bei seinen ersten Wahlen konnte er sich gegen den langjährigen Wahlkreisinhaber der Föderalistischen Partei und ehemaligen Marineminister in den Kabinetten der US-PräsidentenJames Madison und James Monroe, Benjamin Williams Crowninshield, durchsetzen. Während seiner Mitgliedschaft im Repräsentantenhaus hielt er eine Rede zur Verteidigung eines Schutzzolls.
Vor Beendigung seiner zweiten Legislaturperiode im 23. US-Kongress trat er am 30. Juni 1834 als Abgeordneter zurück und wurde Rechtsanwalt in Boston. Zu dieser Zeit galt er in Neuengland als großer Redner und redete auf zahlreichen öffentlichen Veranstaltungen.
Nachdem er mehrere Jahre als Anwalt gearbeitet hatte, kehrte er 1841 die Politik zurück und wurde für die Whig Party als Nachfolger von Daniel Webster, der zum Außenminister in das Kabinett von William Henry Harrison ernannt, Mitglied in den US-Senat für Massachusetts als Senator Class 1. Dem Senat gehörte er vom 23. Februar 1841 bis zum Ende der regulären Amtszeit Websters am 3. März 1845 an.
Wenige Wochen nach seinem Einzug in den Senat hielt Choate eine Rede bei der Beerdigung in der Faneuil Hall in Boston des am 4. April 1841 verstorbenen Präsidenten William H. Harrison. Als Senator widmete er sich Themen wie Schutzzölle, Oregon-Kompromiss, Fiscal Bank Act sowie der Annexion von Texas, gegen die er sich im März 1845 aussprach.
Rückzug aus der Bundespolitik
1845 verzichtete er auf eine erneute Kandidatur für den Senat, worauf Daniel Webster wieder Senator wurde arbeitete wieder als Anwalt. Mehrere Jahre zog er sich vom politischen Leben zurück, war aber ein großer Befürworter von Daniel Websters Politik, die dieser in seiner berühmten Seventh of March Speech vom 7. März 1850 darstellte. Choate scheiterte bei der Unterstützung der Kandidatur Websters für die Whig Party bei der Präsidentschaftswahl in den Vereinigten Staaten 1852.
Im Juli 1859 verschlechterte sich sein Gesundheitszustand, weshalb er eine Erholungsreise nach Europa plante. Er verstarb kurz vor seiner Einschiffung am 13. Juli 1859 in Halifax.