6 grudnia 1971 papież Paweł VI mianował go biskupem diecezjalnym Providence. Sakry udzielił mu jego dotychczasowy zwierzchnik bp Robert Francis Joyce. Na emeryturę przeszedł przedwcześnie 11 czerwca 1997 w atmosferze skandalu seksualnego. Bp Gelineau miał ukrywać księży pedofilów przenosząc ich na nowe parafie.