Am 8. April 1975 wurde er durch Papst Paul VI. zum vierten Bischof von Raleigh ernannt. Am 8. Juni 2006 nahm Papst Benedikt XVI. seinen altersbedingten Rücktritt an.
Wirken
Gossman engagierte sich für die afroamerikanische Gemeinschaft in seiner Diözese. 1963 nahm er an Martin Luther KingsMarsch auf Washington für Arbeit und Freiheit teil. Auf einer von Gossman einberufenen Diözesankonferenz wurde 1978 ein Black Ministry, gegründet, aus dem 1982 das African American Ministry and Evangelization („AAMEN Office“) hervorging.[1]
1991 war er Initiator des North Carolina Lutheran-Roman Catholic Covenant, das die Diözesen Raleigh und Charlotte mit der North Carolina Synod of the Evangelical Lutheran Church in America gründeten.[2]