Urodził się w rodzinie pochodzenia irlandzkiego. W wieku 13 lat wstąpił do seminarium św. Karola w Catonsville, następnie uczęszczał do wyższego seminarium Matki Bożej w Baltimore. W roku 1920 został wysłany do Rzymu, gdzie otrzymał święcenia kapłańskie. Studia z zakresu teologii ukończył na Uniwersytecie Urbanianum. Po powrocie do Stanów Zjednoczonych w latach 1941-1945 powierzono mu obowiązki proboszcza parafii św. Patrycego w Waszyngtonie.
W roku 1945 został mianowany biskupem pomocniczym arcybiskupa Baltimore Michaela Curleya, następnie w roku 1953 mianowany pierwszym ordynariuszem nowej archidiecezji z Bridgeport. Pracy tej poświęcił 8 lat. W roku 1961 powrócił do miasta Baltimore już jako arcybiskup tytularny Nicopoli al Nesto i koadiutor z prawem następstwa. Po śmierci arcybiskupa Curleya przejął po nim obowiązki, natomiast papież Paweł VI wyniósł go do godności kardynalskiej na konsystorzu 22 lutego 1965 z tytułem prezbitera San Clemente. Podczas Soboru Watykańskiego II był członkiem komisji soborowej do spraw dyscypliny kleru i ludu chrześcijańskiego.
W roku 1964 został wybrany na przewodniczącego Komisji Episkopatu Ameryki Północnej do spraw ekumenizmu. Celem tej komisji było informowanie hierarchii o wprowadzaniu w życie na terenie USA postanowień Soboru Watykańskiego II.
Autor głośnego listu pasterskiego z roku 1963, w którym to stanowczo stwierdził, że w Kościele nie ma miejsca na dyskryminację rasową. Zdecydowanie zaprotestował przeciwko orzecznictwu Sądowi Najwyższemu USA, który to w roku 1962 zniósł dobrowolną modlitwę w szkołach publicznych.
2 kwietnia 1974 zgodnie z zaleceniami konstytucji Christus Dominus kardynał Shehan złożył rezygnację z rządów nad archidiecezją, wkrótce potem również zrezygnował ze stanowiska członka rady administracyjnej Katolickiego Uniwersytetu Ameryki. W uznaniu zasług w roku 1976 uniwersytet ten przyznał mu odznaczenie „Gibbons Medal”.
