Urodził się w Duisburgu. Po ukończeniu szkoły, wstąpił w 1912 do niemieckiej marynarki i walczył następnie w I wojnie światowej. W marynarce służył także po zakończeniu wojny. W 1925 wstąpił do SA, a w 1926 do NSDAP nr 30842, a w 1934 do SS nr 147614.
Od 1933, gdy poznał Heinricha Himmlera i stał się jego protegowanym, kariera Pohla nabrała rozpędu. W 1934 został szefem Urzędu Administracyjnego SS, który zajmował się między innymi obozami koncentracyjnymi. W 1935 utworzył Główny Inspektorat Obozów Koncentracyjnych (jego szefami byli kolejno: Theodor Eicke i Richard Glücks). W 1939 został szefem Urzędu Gospodarczo-Administracyjnego SS oraz Urzędu Budżetu Budownictwa, które zostały połączone 31 stycznia 1942 i utworzyły WVHA. Na jego czele stanął Pohl, który za pomocą WVHA kierował całą administracją SS. Urząd dzielił się na 5 zespołów (zespół D był inspektoratem obozów koncentracyjnych).
Udział w zbrodniach popełnionych w hitlerowskich obozach koncentracyjnych
WVHA zajmował się budową i zaopatrzeniem obozów oraz eksploatacją niewolniczej pracy więźniów. Pohl był zwolennikiem eksterminacji przez pracę, stąd często spierał się z gestapo, pragnącym natychmiastowej likwidacji wszystkich „niepotrzebnych elementów”. Nawet dla zdrowego człowieka codzienna kilkunastogodzinna praca, bez potrzebnych urządzeń i w atmosferze wszechobecnego terroru esesmanów i kapo, byłaby pracą ponad siły. Często nie miała ona żadnego sensu, wykonywana była tylko w celu zamęczenia więźniów. Szczególnie złą sławą cieszyły się kamieniołomy.
WVHA był także odpowiedzialny za budynki obozowe oraz odzież i wyżywienie więźniów. Więźniowie mieszkali w złych warunkach, w drewnianych barakach bez ogrzewania i podłóg. Spali na brudnych, zarobaczonych pryczach, byli narażeni na choroby. Nie otrzymywali odpowiedniego wyżywienia i często umierali z głodu. Odzież nie chroniła ani przed zimnem ani przed deszczem, była też dostarczana w niewystarczającej liczbie. Przy tym wszystkim Pohl wydał rozkaz komendantom obozów, by każdy więzień, który nie posiadał butów, był karany chłostą. Pohl, będąc odpowiedzialnym za więźniów, nie robił nic, by ulżyć ich doli, a wprost przeciwnie, wydawał rozkazy pogarszające ich sytuację. W 1944 WVHA została pozbawiona kontroli nad obozami koncentracyjnymi.
Proces i egzekucja
27 maja 1946 Pohl został schwytany przez Brytyjczyków. Został głównym oskarżonym w jednym z 12 procesów norymberskich przed Amerykańskim Trybunałem Wojskowym (tzw. proces Pohla). Na ławie oskarżonych zasiadł Pohl i jego najbliżsi współpracownicy z WVHA. W trakcie procesu zbrodniarz usiłował przekonać, że był tylko „zwykłym funkcjonariuszem” i wykonywał tylko rozkazy. Pohl wraz z 3 innymi oskarżonymi został skazany na karę śmierci przez powieszenie 3 listopada 1947. Próbował uniknąć wyroku, wnosząc liczne prośby o ułaskawienie i pisząc książkę „Credo. Moja droga do Boga”. Jednak Pohl, w przeciwieństwie do pozostałych współoskarżonych skazanych na karę śmierci (ułaskawiono ich wymierzając długoletnie kary pozbawienia wolności), nie mógł liczyć na litość.
