Wraz z rodziną został zmuszony do wyjazdu z Warmii zaraz po II wojnie światowej. Studiował w seminarium w Erfurcie; przyjął święcenia kapłańskie 29 czerwca1960 r. i został inkardynowany do diecezji Erfurt-Meiningen. Pracował tam jako duszpasterz, wykładał w seminarium (był również prefektem ds. dyscypliny), w latach 1981-1989 r. pełnił funkcję wikariusza generalnego. Kierował diecezjalną komisją ekumeniczną oraz zajmował się diecezjalnymi instytucjami wydawniczymi, a także prowadził wykłady w Wyższej Szkole Filozofii i Teologii w Erfurcie.
28 maja1989 r. został mianowany biskupem Berlina i przyjął sakrę biskupią 9 września1989 r. z rąk biskupa Joachima Wanke (administratora apostolskiego Erfurtu-Meiningen). Stał na czele Konferencji Episkopatu Berlina. W czerwcu 1991Jan Paweł II wyniósł go do godności kardynalskiej, z tytułem prezbitera S. Giuseppe all'Aurelio. Po podniesieniu Berlina do rangi stolicy metropolitalnej w czerwcu 1994 r. kardynał Sterzinsky został arcybiskupem.
W maju 2011 roku kardynał został hospitalizowany z powodu zapalenia płuc. Hierarcha zmarł 30 czerwca 2011 roku w Berlinie. Jego następcą został Rainer Woelki.