La vita di Pietro è stata arricchita da episodi e leggende. Il suo ruolo come promotore della prima crociata (e ancor precedentemente, della crociata dei pezzenti) sarebbe nato da una visione avuta nel 1093 nella basilica del Santo Sepolcro a Gerusalemme, nella quale il Cristo gli ordinava di recarsi dal Patriarca di Gerusalemme e poi in Europa per predicare la liberazione dei luoghi sacri in Terra Santa e mettere così termine alle persecuzioni patite dai pellegrini[1]. Questo episodio è stato messo in dubbio dalla storiografia[2], così come il suo ruolo preponderante durante le crociate poiché non viene menzionato dai suoi contemporanei, ma solo da autori successivi[3].
Nella sua entusiasmante predicazione filo-crociata che spaziò da Bourges a Colonia, l'eloquenza di Pietro sollevò l'entusiasmo di migliaia di cristiani (più di 12 000 persone) che - al grido di Deus le volt - si posero in marcia nel maggio del 1096. L'estremismo religioso dei partecipanti a questa crociata fece sì che non seguisse unicamente le linee tracciate da Urbano II nel suo discorso a Clermont, ma i predicatori introdussero presto elementi antiebraici che si sarebbe poi tradotta in razzie ai danni degli ebrei della Renania e della valle del Danubio[4][5].
Nella città di Semlin, presso la frontiera fra Ungheria ed Impero bizantino, scoppiarono contrasti con la popolazione locale che degenerarono in uno scontro armato nel quale 4000 ungheresi furono uccisi e le riserve di cibo saccheggiate dall'armata di Pietro[6]. I crociati furono inseguiti ed attaccati da Nicetas, governatore della città di Niš, al seguito di altri saccheggi e devastazioni perpetrate. Pietro l'eremita riuscì a fuggire sulle alture, perdendo però la cassa con le sue riserve d'oro e molti uomini[6]. Pietro riparò quindi con le sue truppe nei territori bizantini e l'armata di pellegrini raggiunse Costantinopoli alla fine di luglio, dove furono accolti dal basileus, Alessio I Comneno. Dapprima favorevole all'impresa di Pietro, Alessio I consigliò di aspettare l'arrivo dei baroni, ossia del grosso delle forze regolari che componevano la spedizione della Prima Crociata, ma i saccheggi dei sobborghi di Costantinopoli da parte dei "pezzenti" spinse Alessio I a far evacuare queste truppe rapidamente oltre il Bosforo, stabilendole nell'accampamento a Civitot (Kibotos), nei pressi di Nicomedia[7]. Questi episodi di violenza indicavano che già dall'entrata in Ungheria, Pietro avesse perso buona parte del controllo delle sue armate.
Spintosi fino a Nicomedia, Pietro l'Eremita non riuscì a tenere oltre la già scadente disciplina fra le sue file e, davanti a ulteriori segni di indisciplina[8], tornò nella capitale bizantina per chiedere l'aiuto di Alessio I.
Nel frattempo il suo seguito, armato alla bell'e meglio, fu massacrato dai Turchi Selgiuchidi di Rūm sui campi di Civitot ed egli dovette aspettare l'arrivo dei nobili crociati, cui si unì in una posizione tuttavia non di eccellenza.
Quando arrivarono i crociati mandati dagli altri re europei, Pietro li seguì, benché durante l'assedio di Antiochia avesse cercato addirittura di fuggire, malgrado venne subito ricatturato. Dopo qualche mese riprese credibilità agli occhi dei crociati, al punto di diventare ambasciatore dei cristiani durante un successivo assedio di Antiochia, questa volta da parte dei musulmani.
In concomitanza della presa di Gerusalemme avvenuta venerdì 15 luglio 1099, Pietro diventò elemosiniere dell'esercito crociato vittorioso. Il suo sermone sul Monte degli Ulivi fu seguito dal saccheggio della città e dai massacri degli abitanti inermi della Città Santa: altri cristiani[senza fonte], ebrei e musulmani.
Tornato nel 1100 a Huy (Belgio), Pietro l'Eremita vi fondò il monastero di Neufmoustier, dove finì i suoi giorni nel 1115.