Bolte, Sohn des Goldgräbers und Gastwirts James Henry Bolte und dessen Ehefrau Anna Jane Warren, arbeitete nach dem Besuch der Staatlichen Schule in Skipton und der Grammar School zwischen 1924 und 1934 im Textilgeschäft der Familie in Skipton sowie als Stallbursche, ehe er 1934 eine Schaffarm in Bamganie bei Meredith erwarb. Dort heiratete der Farmer am 24. November 1934 Edith Elder.
Während des Zweiten Weltkrieges leistete Bolte Militärdienst zwischen 1940 und 1944 im 2. Feldausbildungsregiment (2nd Field Training Regiment) der Australian Military Forces und wurde zuletzt zum Sergeant befördert.
Abgeordneter und Minister
Nach Kriegsende begann Bolte sein politisches Engagement in der Liberal Party of Australia, deren Gründungspräsident er in Meredith war. Nach einer erfolglosen Kandidatur im WahlkreisHampden am 10. November 1945, wurde er bei der darauf folgenden Wahl am 8. November 1947 in diesem Wahlkreis erstmals zum Mitglied der Legislative Assembly gewählt, dem Unterhaus des Parlaments von Victoria. Er gehörte der Legislativversammlung fast 25 Jahre lang bis zu seinem Rücktritt am 24. August 1972 an.
Zu Beginn seiner Parlamentszugehörigkeit war er 1948 kurzzeitig Mitglied des Ausschusses für öffentliche Arbeiten. Am 7. Dezember 1948 wurde Bolte von Premierminister Thomas Hollway erstmals in die Regierung des Bundesstaates Victoria berufen und bekleidete bis zum Ende von Hollways Amtszeit am 27. Juni 1950 das Amt des Ministers für Wasserversorgung und Bergbau (Minister of Water Supply and of Mines). Zugleich fungierte er zwischen Dezember 1949 und Juni 1951 auch als Minister für Naturschutz (Minister of Conservation).
Im Anschluss war er von 1951 bis 1953 Vize-Vorsitzender der Liberal Party und übte nach der Wahlniederlage seiner Partei bei den Wahlen vom 6. Dezember 1952 zwischen 1952 und 1953 die Funktion des stellvertretenden Oppositionsführers(Deputy Leader of the Opposition) aus und war damit Stellvertreter von Thomas Hollway. 1953 war er außerdem Mitglied des Ausschusses für Kartoffelvermarktung.
Oppositionsführer und Wahlsieg 1955
Als Nachfolger von Hollway wurde er am 3. Juni 1953 Vorsitzender der Liberal Party und übernahm damit zugleich die Funktion als Oppositionsführer in der Legislativversammlung.
In diesen Funktionen führte Bolte die Liberal Party zum Sieg bei den Wahlen vom 28. Mai 1955. Dabei konnte die Partei, die als Liberal and Country Party antrat, 487.408 Stimmen (37,78 Prozent) gewinnen und erhielt 22 Sitze mehr als bei der letzten Wahl, so dass sie mit 33 Mandaten die absolute Mehrheit in der 66-köpfigen Legislativversammlung nur knapp verpasste. Die Australian Labor Party (ALP) erzielte 420.197 Stimmen (32,57 Prozent), verlor aber im Vergleich zur letzten Wahl 16,5 Prozentpunkte und aufgrund des geltenden Wahlrechts 17 ihrer 37 Sitze, sodass sie nur noch 20 Abgeordnete stellte.
Premierminister von Victoria 1955 bis 1972
Wahlsiege 1958 und 1961
Bolte wurde daraufhin als Nachfolger des Labor-Politikers John Cain am 7. Juni 1955 neuer Premierminister von Victoria und bekleidete dieses Amt mehr als 17 Jahre lang bis zum 23. August 1972. In seiner Regierung bekleidete er zwischen Juni 1955 und August 1972 auch das Amt des Finanzministers (Treasurer) und war zugleich von Juni 1955 bis Juli 1961 auch wieder Minister für Naturschutz. Ferner war er im Juni 1955 auch kurzzeitig Minister für Ländereien und militärische Siedlungen (Minister of Lands and Soldier Settlement).
Bei den Wahlen vom 31. Mai 1958 konnte Bolte mit der Liberal Party ihre Vormachtstellung weiter ausbauen: Die Labor Party gewann zwar mit 515.638 Stimmen (37,69 Prozent) die meisten Stimmen und legte damit um 5,12 Prozent zu, verlor aber wegen des Wahlrechts zwei weitere Sitze und stellte nunmehr nur noch 18 Abgeordnete. Die Liberal and Country Party bekam trotz ihrer 508.678 Stimmen (37,18 Prozent) aber sechs weitere Mandate und verfügte mit 39 Sitzen über eine eigene absolute Mehrheit in der Legislativversammlung. Drittstärkste Kraft wurde die Country Party, die 127.228 Wählerstimmen (9,3 Prozent) bekam und neun Mandate erhielt.
Die Wahlen vom 15. Juli 1961 brachten keine großen Veränderungen bei der Sitzverteilung. Die Labor Party unter Clive Stoneham gewann mit 552.015 Stimmen (38,55 Prozent) zwar 0,86 Prozentpunkte hinzugewinnen, verlor aber wegen des Wahlrechts gleichwohl einen weiteren Sitz und war nur noch mit 17 Sitzen in der Legislativversammlung vertreten. Die Liberal and Country Party Boltes Liberal and Country verlor zwar mit 521.777 Wählerstimmen (36,44 Prozent) 0,74 Prozentpunkte, stellte aber weiterhin 39 Abgeordnete. Drittstärkste Kraft blieb die Country Party, die 102.184 Stimmen (7,14 Prozent) erzielte und wiederum neun Abgeordnete stellte.
Wahlsiege 1964 und 1967
Bei den Wahlen vom 27. Juni 1964 ging die Liberal and Country Party unter Boltes Führung erneut als Wahlsieger hervor und erhielt mit 597.748 Stimmen (39,63 Prozent) die meisten Stimmen, verlor aber trotz eines Zuwachses von 3,2 Prozentpunkten aber einen Sitz und verfügte mit 38 Sitzen aber weiterhin über eine absolute Mehrheit in der Legislativversammlung. Clive Stonehams Labor Party verlor hingegen 2,33 Prozentpunkte und kam auf 546.279 Stimmen (36,22 Prozent), gewann aber ein Mandat hinzu, sodass sie wieder mit 18 Sitzen vertreten war. Die Country Party konnte sich leicht um 1,62 Prozentpunkte verbessern und gewann mit 132.067 Wählerstimmen (8,76 Prozent) einen Sitz hinzu und stellte jetzt zehn Parlamentarier.
Nach den Wahlen übernahm Bolte, der zwischen dem 22. und dem 28. April 1964 auch wieder Minister für Bergbau und Wasserversorgung war, im Juli 1964 kurzzeitig auch das Amt des Ministers für staatliche Entwicklung (Minister of State Development). 1965 wurde er Ehrendoktor der Rechtswissenschaften (Hon. LL.D.) der Universität Melbourne und 1966 zum Knight Commander des Order of St. Michael and St. George (KCMG) geschlagen, sodass er fortan den Namenszusatz „Sir“ führte.
Die Wahlen vom 29. April 1967 brachten wieder mehr Stimmen zugunsten der Labor Party unter Clive Stoneham, die zwar 596.520 Stimmen (37,90 Prozent) erhielt und 1,68 Prozentpunkte hinzugewann, wegen des Wahlrechts aber zwei Mandate verlor und nur noch 16 Sitze in der auf 73 Mandate erweiterten Legislative Assembly bekam. Boltes Liberal Party verlor zwar 2,14 Prozentpunkte, gewann aber mit 589.985 Stimmen (37,49 Prozent) sechs Mandate und stellte jetzt 44 Abgeordnete und damit weiterhin die absolute Mehrheit. Die Country Party gewann mit 136.126 Wählerstimmen (8,65 Prozent) ebenfalls zwei Sitze hinzu und war jetzt mit zwölf Abgeordneten vertreten.
Wahlsieg 1970 und Rücktritt als Premierminister 1972
Bolte, der 1967 auch einen Ehrendoktor der Rechtswissenschaften der Monash University erhielt, wurde auch bei den Wahlen 30. Mai 1970 als Premierminister im Amt bestätigt. Die Labor Party erhielt unter ihrem neuen Vorsitzenden Clyde Holding mit 693.105 Stimmen (41,42 Prozent) die meisten Stimmen und gewann 3,52 Prozentpunkte sowie sechs Sitze hinzu, sodass sie jetzt 22 Abgeordnete stellte. Wegen des geltenden Wahlrechts erhielt die Liberal Party mit 614.094 Wählerstimmen (36,70 Prozent) trotz eines leichten Verlusts von 0,79 Prozentpunkten sowie von zwei Sitzen aber immer noch 42 Mandate. Drittstärkste Kraft blieb die Country Party, die 107.011 Stimmen (6,40 Prozent) erhielt sowie vier Sitze verlor und jetzt acht Mandate bekam.
Nach mehr als siebzehnjähriger Amtszeit als Premierminister trat Bolte, der 1972 zum Knight Grand Cross des Order of St. Michael and St. George (GCMG) erhoben wurde, am 23. August 1972 zurück. Nachfolger wurde daraufhin der bisherige Vize-Premierminister Rupert Hamer, der zugleich auch Vorsitzender der Liberal Party von Victoria wurde.
Bolte übernahm nach seinem Ausscheiden aus der Politik zahlreiche Funktionen in der Wirtschaft und war unter anderem Direktor der Phosphate Co-operative Company of Australia, der Australian United Corporation Holdings Ltd sowie der Associated Securities Ltd von 1976 bis 1979. Daneben war er zeitweilig Direktor der Transwest Haulage Holdings Ltd, der Guest, Keen & Nettlefold, Dennys Lascelles Ltd, deren Vorstandsvorsitzender er seit 1980 war. Des Weiteren war er Direktor der John Swire & Sons Pty Ltd sowie seit 1979 Mitglied des Aufsichtsrates der General Motors Corporation.
Bolte, der auch Besitzer von Rennpferden sowie zwischen 1972 und 1983 Mitglied des Komitees des Victoria Racing Club war, engagierte sich als Laienprediger für die Church of England und erlitt 1984 einen schweren Autounfall.
Ihm zu Ehren wurde die Bolte Bridge, eine große neue Brücke über den Yarra River benannt und die als Teil des Western Link zum CityLink gehört, ein System von mautpflichtigen Stadtautobahnen in Melbourne.