Nel dicembre del 1954 il pittore Robert La Vigne, a San Francisco, gli presentò Allen Ginsberg. Orlovsky ne divenne il segretario, viaggiò per il mondo assieme a lui, e ne fu il partner in una relazione apertamente omosessuale che sarebbe durata per quattro decenni, fino alla morte di Ginsberg.
La coppia formata da Ginsberg ed Orlovsky, una delle poche ad essere apertamente tali nel periodo pre-moti di Stonewall, è stata ritratta molte volte anche da fotografi celebri, tra cui Richard Avedon.
Orlovsky era anche lui poeta: tra le sue opere, si ricorda la raccolta Clean Asshole Poems & Smiling Vegetable Songs.
Peter Orlovsky è deceduto domenica 30 maggio 2010 per un tumore ai polmoni. Era ricoverato da tempo nel Karmê Chöling Meditation Center di Barnet, nello stato del Vermont.
