Nach dem Krieg setzte er seine berufliche Laufbahn fort und wurde 1865 zunächst Assistenzstaatsanwalt (Assistent U.S. Attorney). Anschließend war er von 1866 bis 1870 Bundesstaatsanwalt für den Distrikt von Kentucky. Während dieser Zeit setzte er sich besonders für eine Stärkung der Bürgerrechte ein.
Er begann seine politische Laufbahn mit der Wahl zum Mitglied des Senats von Kentucky von 1863 bis 1865.
Nach einer kurzen Tätigkeit als Rechtsanwalt in einer gemeinsamen Kanzlei mit dem späteren Bundesrichter John Marshall Harlan wurde er am 10. Oktober 1870 von PräsidentUlysses S. Grant zum ersten United States Solicitor General. Damit nahm er in der Hierarchie des Justizministeriums den vierten Rang ein. Dieses Amt übte er bis November 1872 aus. 1873 sah ihn Präsident auch als Nachfolger von George H. Williams als Justizminister vor, damit jener Präsident des Obersten Gerichtshofs werden könnte. Zu diesen Ernennungen kam es jedoch nach einer Änderung der Meinung Grants nicht mehr.
Finanzminister unter Grant und Aufklärung von Korruptionsskandalen
Am 4. Juni 1874 ernannte ihn Präsident Grant zum Nachfolger von William Adams Richardson als Finanzminister.
In dieser Funktion leitete er die überfällige interne Neugliederung des Ministeriums ein. Insbesondere entließ er den Zweiten Kontrolleur des Finanzministeriums wegen Unwirtschaftlichkeit, änderte den Ermittlungsdienst und legte die Einziehungsbezirke der Zoll- und Steuerdienste zusammen.
Während seiner Amtszeit kam es auch zu 253 Anklagen gegen Mitglieder des so genannten „Whiskey Ring“. Diese aus Besitzern von Destillen und Steuerbeamten bestehende kriminelle Vereinigung in St. Louis, Milwaukee, Cincinnati und anderen Städten betrog den Fiskus in den Jahren 1870 bis 1876 allein in St. Louis um mehr als 2.500.000 US-Dollar, die sich die Unternehmer und Beamten untereinander teilten. Unter den Angeklagten war auch der Privatsekretär des Präsidenten, der mit dem hinterzogenen Geld den Wahlkampffonds von Präsident Grant bei dessen geplanter Wiederwahl 1876 unterstützte. Dem Präsidenten wurde vorgeworfen, in die Anklagen eingegriffen zu haben. Nachdem einige Angeklagte bereits nach wenigen Monaten begnadigt worden waren, trat Bristow am 20. Juni 1876 auch wegen Meinungsverschiedenheiten von seinem Amt als Finanzminister zurück. Nachfolger in diesem Amt wurde Lot M. Morrill.
1876 kandidierte er erfolglos für die Nominierung der Republikanischen Partei als Präsidentschaftskandidat. Nach der Niederlage unterstützte er aber den anschließend zum Präsidenten gewählten Rutherford B. Hayes in dessen Wahlkampf. Allerdings lehnte er dessen Angebote zur Übernahme sowohl eines Ministeramtes als auch eines Richteramtes am Obersten Gerichtshof ab.
Nach seinem Rückzug aus dem politischen Leben 1878 ließ er sich als Rechtsanwalt in New York City nieder. Ein Jahr später wurde er Vizepräsident der Amerikanischen Rechtsanwaltsvereinigung.