Oliver syntyi Tasmaniassa, josta muutti perheensä mukana Taurangaan vuonna 1896. Jo lapsesta saakka hän oli kiinnostunut luonnosta, ja teki havaintoja ja muistiinpanoja koko loppuelämänsä ajan. Vuonna 1908 hän osallistui Kermadecsaarille suuntautuneelle tutkimusmatkalle. Vuonna 1910 hän liittyi Royal Australasian Ornithologists Unioniin (RAOU), jossa hän toimi Uuden-Seelannin haaran sihteerinä vuodesta 1914 kuolemaansa saakka. Hän toimi myös yhdistyksen puheenjohtajana 1943–1944 ja varapuheenjohtajana 1942–1943.
Vuonna 1928 Oliver valittiin Wellingtonissa sijaitsevan Dominion Museumin johtajaksi. Hän jäi eläkkeelle 1947. Vuonna 1930 hän julkaisi lintuoppaan Uuden-Seelannin linnustosta, New Zealand Birdsin, jonka laajennettu ja uudistettu painos ilmestyi 1955.