Groves tok eksamen fra United States Military Academy ved West Point i 1918 og tjenestegjorde i ingeniørkorpset i hele hans militære karriere. Han ledet Manhattanprosjektet fra september 1942, da han ble utnevnt til brigadegeneral, og frem til ansvaret for kjernevåpenproduksjonen ble overtatt av Atomic Energy Commission i 1947.
Groves forlot hæren i 1948 og var deretter leder for elektronikkbedriften Sperry Rand fra 1948 til 1961.