Am 18. Jänner 1954 wurde er als Nachfolger von Ferdinand Stanislaus Pawlikowski zum Bischof der Diözese Graz-Seckau ernannt. Der selbst sittenstrenge Bischof galt anfangs als Konservativer. Nach dem Zweiten Vatikanischen Konzil, an dem er als Konzilsvater teilgenommen hatte, wurde er liberaler und gewährte viele Freiheiten, so dass konservative Geistliche von der Diözese als „Holland in Österreich“ sprachen. Er berief einen ständigen Priesterrat ein; Laien durften in einer Synode mitreden und als Kommunionspender fungieren. Die Priesterausbildung wurde modernisiert und die kollegiale Leitung hatte eine Gruppe fortschrittlicher Theologen inne. Junge Priester durften gruppenweise für drei Monate in obersteirischen Kohlengruben arbeiten, um mit Bergleuten ins Gespräch zu kommen. Der Papstprimat war für ihn nicht aufgehoben, „aber die Betonung der Spitze, der Isolierung, des Monolithischen tritt zurück“. Dies alles führte zu Spannungen in der Diözese. Ein starker Widersacher im Klerus war auch der apostolische Nuntius Opilio Rossi. Im November 1968 fuhr Schoiswohl erfolglos nach Rom, um zu erreichen, dass verheiratete ehemalige Priester wenigstens als ständige Diakone und Religionslehrer zugelassen werden sollten.[2]
Diese Entwicklungen veranlasste ihn, seinen Rücktritt einzureichen, welcher am 27. November 1968 genehmigt und am 1. Jänner 1969 wirksam wurde, aber zuerst geheim blieb. Erst zu Mittag des 31. Dezember verkündete er selbst überraschend seinen Rücktritt und verließ die Stadt. Am Abend wurde im Fernsehen zur Verwunderung der informierten Zuschauer noch eine aufgezeichnete Silvesteransprache ausgestrahlt.[2] Er wurde am 1. Jänner 1969 zunächst zum Titularbischof von Sulletto und am 10. Juni 1969 zum Titularerzbischof von Monteverde ernannt.
Nach seinem Rücktritt war er in seiner Heimatgemeinde Guntramsdorf als Seelsorger tätig, wo er auch begraben wurde.
