Oliver började tävla i racing 1961 och började köra i formel 3 1966, bland annat som fabriksförare för Lotus F3. 1967 vann han sportvagnsloppet BOAC 500 på Brands Hatch tillsammans med John Miles i en Lotus 47 GT och körde också ett par lopp för Lotus F2. Säsongen efter blev han ordinarie förare för Lotus F2, men efter att Jim Clark förolyckats fick Oliver ersätta honom i Team Lotus.
Olivers debutsäsong i formel 1 inleddes med en olycka i Monaco och därefter en femteplats i Belgien. Han startade inte i Frankrike och fick bryta ett antal lopp. Han ledde till exempel i Storbritannien tills han fick bryta på grund av transmissionsfel. Oliver avslutade sedan säsongen med att komma trea i Mexikos Grand Prix 1968. Säsongen efter ersattes han av österrikaren Jochen Rindt medan Oliver istället fick ett tvåårskontrakt som förare för BRM. Oliver blev också fabriksförare för Ford i sportvagnar och 1969 vann han både Sebring 12-timmars och Le Mans 24-timmars i en Ford GT40.
Oliver hade på grund av otillförlitliga bilar och interna stridigheter ännu mindre framgång hos BRM-stallet. Inför säsongen 1970, hade man tagit fram en ny bil, BRM P153, med vilken Olivers stallkamrat Pedro Rodríguez vann Belgiens Grand Prix1970, vilket var BRM:s första seger sedan Monacos Grand Prix1966. Oliver hade dock mindre framgång, han förföljdes av dålig tillförlitlighet och fick bryta de flesta loppen. I Spanien 1970 till exempel kraschade han fruktansvärt men överlevde. Han kom i mål i två lopp, som femma i Österrike 1970 och som sjua i Mexiko 1970.
Efter att i princip ha lämnat F1 tävlade Oliver i sportvagnar för John Wyer Automotive och vann Daytona 24-timmars i en Porsche tillsammans med Pedro Rodríguez 1971. Samma år började Oliver även köra i CanAm för Shadow Racing Team hos vilka han stannade och vann sedan CanAm-titeln 1974. Oliver tävlade även i formel 5000 och var också med när Shadow-stallet debuterade i formel 1 säsongen 1973. Därefter körde han bara ett lopp, det i Sverige 1977, varefter han avslutade sin förarkarriär.
Oliver var kvar som affärschef hos Shadow till slutet av 1977 då han ledde en utbrytargrupp som startade det konkurrerande racingstallet Arrows.
