Gregh was de zoon van de componist Louis Gregh (1843-1915). Aan het einde van de 19e eeuw startte hij het literaire tijdschrift Le Banquet, waarin hij zijn eerste gedichten publiceerde. In het blad publiceerden onder andere Marcel Proust en Jacques Bizet. Gregh was tevens werkzaam als literair journalist en essayist. Later schreef hij ook toneelstukken. Zijn eerste toneelstuk Triomphe beleefde in 1919 in de Opéra de Paris met Sarah Bernhardt in de hoofdrol de première.
