Urodzony jako Oliver White, od dzieciństwa - po rozwodzie rodziców - nosi nazwisko ojczyma. Wychowywał się w Roanoke (Wirginia), następnie w Waszyngtonie, gdzie ukończył szkołę średnią Dunbar High School. Rozpoczął studia na uczelni tradycyjnie związanej z Afroamerykanami - Howard University. Pod wpływem lektury książek, odziedziczonych po wuju prawniku, zainteresował się prawem, szczególnie problematyką praw obywatelskich Afroamerykanów. Był wyróżniającym się studentem, prawo ukończył w 1933 z drugim wynikiem na swoim kierunku; lepsze od niego oceny uzyskał jedynie zaprzyjaźniony Thurgood Marshall, późniejszy pierwszy Afroamerykanin w Sądzie Najwyższym.
Początki pracy w zawodzie prawnika nie były łatwe dla Hilla; zmuszony był nawet przerwać praktykę i podjąć zatrudnienie w charakterze kelnera. W 1939 powrócił do rodzinnego Richmond i na nowo rozpoczął praktykę. Rok później wygrał pierwszą prestiżową sprawę związaną z prawami obywatelskimi; w efekcie orzeczenia sądowego czarnoskórzy nauczyciele w mieście Norfolk uzyskali równe płace z nauczycielami białymi. W 1943 Hill znalazł się w szeregach armii amerykańskiej i walczył na froncie europejskim II wojny światowej.
Po wojnie kontynuował działalność w dziedzinie obrony praw obywatelskich, wygrywając m.in. sprawę przed Sądem Najwyższym Wirginii dotyczącą równouprawnienia w transporcie uczniów do szkoły oraz sprawę korzystania przez czarnoskórych uczniów jednej ze szkół ze zrujnowanego budynku (sprawa ta stała się później jedną z podstaw orzeczenia Sądu Najwyższego Brown v. Board of Education z 1954). Działania Olivera Hilla przyczyniły się do obalenia systemu separate but equal, w praktyce często ograniczającego się do faktycznej segregacji rasowej bez zapewnienia równości. Naraził się tym aktywistom rasistowskim, w latach 50. i 60. spotykał się wielokrotnie z groźbami pozbawienia życia, a przed jego domem spalono krzyż (symboliczne działanie Ku Klux Klanu). Nie zrezygnował jednak z aktywności na polu walki o prawa obywatelskie, prowadząc sprawy aż do emerytury w 1998. Zaangażował się również w życie publiczne, w 1949 stając się pierwszym Afroamerykaninem wybranym do rady miejskiej Richmond.
Oliver Hill doczekał się wielu wyróżnień, odznaczeń i nagród, zarówno ze strony organizacji prawniczych, jak i władz państwowych i stanowych czy organizacji afroamerykańskich. W 1999 został odznaczony przez Billa ClintonaPrezydenckim Medalem Wolności. W 2005 jego imieniem nazwano odremontowany budynek rządowy w Richmond, co oznaczało pierwsze takie wyróżnienie dla czarnoskórego mieszkańca stanu Wirginia.
W 2000, wspólnie z Jonathanem K. Stubbsem, opublikował autobiografię The Big Bang: Brown v. Board of Education, The Autobiography of Oliver W. Hill, Sr.
