Hij was de zoon van jurist, advocaat en rechter Xavier Joseph Ghislain Lelièvre en Rosalie Paque.
Nadat Lelièvre in 1826 promoveerde tot doctor in de rechten aan de Rijksuniversiteit Leuven, vestigde hij zich van 1826 tot aan zijn dood als advocaat in Namen. In 1830 was hij eveneens redacteur bij de krant Le Courrier de la Sambre en van 1832 tot 1864 was hij plaatsvervangend rechter bij de Rechtbank van eerste aanleg.
Hij werd ook politiek actief voor de liberalen en vanaf 1868 de katholieken en zetelde voor deze partijen van 1848 tot 1859 en van 1864 tot 1876 voor het arrondissement Namen in de Kamer van volksvertegenwoordigers. In 1863 werd hij tevens verkozen tot gemeenteraadslid van Namen, waar hij van 1864 tot 1866 schepen en van 1867 tot 1876 burgemeester was.
