El 1998 va actuar per primera vegada a una sala de la Cité Universitaire de París. El 2000 actuà novament a la capital francesa, aquesta vegada al Théâtre des Déchargeurs. L'any 2002 va aparéixer el seu primer àlbum, homònim, amb el qual va fer una gira de presentació.[1] Aquest àlbum va ser guardonat l'any 2003 amb el Premi Victoire de la Musique dins la categoria d'àlbum revelació.[2] A partir d'aquest primer àlbum, Delerm va llençar un nou disc cada dos anys (Kensington Square, 2004; Les Piqûres d'araignée, 2006; Quinze chansons, 2008), fins que després de l'aparició de Quinze chansons va obrir un hiat que va durar fins a 2013, any en què aparegué Les amants parallèles.[3] Per l'octubre de 2016 va llençar un nou àlbum amb el títol À présent. El single de presentació de l'àlbum va ser una cançó interpretada a duo amb Benjamin Biolay i titulada "Les chanteurs sont tous les mêmes".
L'any 2003 va estrenar la primera obra de teatre, Le Fait d'habiter Bagnolet, al Théâtre de la Chapelle Saint-Louis de Rouen (Alta Normandia). L'obra es representà posteriorment al Théâtre du Rond-Point, als Camps Elisis de París, i altres teatres francesos.[4] Posteriorment, l'any 2011 estrenà a París, al Théâtre des Bouffes-du-Nord, l'espectacle de teatre musical Memory, en el qual el mateix Delerm feia el paper principal i interpretava, amb l'acompanyament de Nicolas Mathuriau, les cançons que formaven part de la peça. L'espectacle va rodar per França i Bèlgica fins que a l'abril de 2013 se'n va fer l'última representació a la sala Olympia de París.[5]
Pel que fa a altres facetes de la seua carrera, l'any 2011 Delerm va publicar Léonard a une sensibilité de gauche, un llibre-disc destinat a un públic infantil, en col·laboració amb l'actor Jean Rochefort.[6] L'any 2013 s'organitzà una exposició del seu treball fotogràfic i com a videoartista al centre cultural Centquatre de París.[6]
Le Fait d'habiter Bagnolet. Escrita en 2001. Dirigida per Sophie Lecarpentier, ha estat interpretada a Rouen (2003), París (2004-2005) i altres indrets de França.
Memory. Dirigida per l'autor, va ser estrenada el 6 de desembre de 2011 a París.
