1832 war Holt erstmals politisch tätig, als er Georgia bei der US-Präsidentschaftswahl im Electoral College vertrat und seine Stimme dem Amtsinhaber Andrew Jackson gab. Im Jahr 1841 war er zunächst Abgeordneter im Repräsentantenhaus von Georgia, wo er sein Mandat aber schnell niederlegte, als er zum Nachfolger des zurückgetretenen Walter T. Colquitt im US-Repräsentantenhaus gewählt wurde. Er nahm sein Mandat dort als Whig lediglich vom 1. Februar bis zum 3. März 1841 wahr, schied dann wieder aus dem Kongress aus und arbeitete wieder als Jurist.
Kurz vor Ausbruch des Sezessionskrieges wurde er 1859 als Finanzminister (State treasurer) von Georgia wieder politisch aktiv. Im selben Jahr wurde er in den Senat von Georgia gewählt, dem er zwei Sitzungsperioden lang angehörte. Nach der Sezession Georgias war Holt dann ab 1862 Abgeordneter des Repräsentantenhauses im ersten Konföderiertenkongress. Er legte sein Mandat dort am 1. März 1863 nieder. Nach Kriegsende nahm er im November 1865 als Delegierter am Verfassungskonvent von Georgia in seiner Heimatstadt Milledgeville teil, als er unerwartet starb. Er wurde in Columbus beigesetzt.