Da biskop Schulte ble valgt til erkebiskop av Köln, utnevnte pave Benedikt XV Caspar Klein den 30. april 1920 til biskop av Paderborn. Han ble bispeviet den 1. august 1920 av sin forgjenger Karl Joseph Schulte; medkonsekrerende biskoper var Johannes Poggenburg av Münster og Hermann Wilhelm Berning av Osnabrück.
Likesom alle biskoper av Paderborn siden 1868 var Caspar Klein samtidig apostolisk vikar av Anhalt. De siste menigheter ble i 1921 som den siste rest av Det apostoliske vikariat i nord inkorporert i bispedømmet Paderborn.
Som følge at konkordatet med Preussen av 13. august 1929 ble biskop Klein den 13. august 1930 utnevnt av pave Pius XI til første erkebiskop av Paderborn. I 1936, i hans embedsperiode, falt 1100-årsfeiringen av overføringen av relikviene av den hellige Liborius fra Le Mans til Paderborn.
Nasjonalsosialismens tid: Som erkebiskop av Paderborn i 1930-årene protesterte Klein mot den anti-kristne propaganda bedrevet av nazistene.[2] Dokumenter forberedt av det amerikanske Office of Strategic Services (OSS) og fremlagt som bevismateriale i Nürnbergprosessene viser at nazistene var tilbakeholdne med å ta livet av tyske kirkeledere fordi de ikke ønsket å skape martyrer. Men katolske ledere ble ikke desto mindre ofte gjenstand for vold eller for trusler om vold, særlig forvoldt av SA, SS eller Hitlerjugend. En rekke tilfeller ble løftet frem av OSS, blant dem ett rettet mot erkebiskop Klein av Paderborn,[3] som var 74 år ved sin død.
