Sverdrup kom inn på Stortinget i 1850, først som representant for Jarlsberg og Larvik amt og sidan for Akershus. Han var stortingspresident frå 1871 til 1884, som var den tida ordskiftet om parlamentarismen vart ført. Han bygde opp eit sterkt politisk parti (Venstre) med støtte frå bøndene, og klarte å etablera ei sterk konstitusjonell regjering som praktisk talt øydela den kongelege politiske makta. Sverdrup ønskte at Stortinget skulle vere den dominerande statsmakta, at stemmeretten burde utvidast for å styrka Stortinget, og at statsrådane burde delta i stortingsmøta for at Stortinget skulle få større innverknad på dei.
Sverdrup sette i verk 89 lovforslag i løpet av sin periode, som mellom anna var reformer av rettssystemet. Han klarte derimot ikkje å gjera dei radikale tilhengjarane av partiet, og måtte søka støtte hos liberal-moderatane. Han blei tvinga til å gå av i 1889 og døydde 17. februar 1892 i Kristiania (i dag Oslo).