In 1997 werd hij communicatieadviseur van PCF-politica Michelle Demessine, destijds minister van Toerisme. Nadien werkte hij voor de parlementsleden Alain Bocquet en Jean-Jacques Candelier. Bij de verkiezingen van 2004 kwam Roussel op in het kanton Lille-Sud-Ouest, waar hij als vijfde eindigde met 5,2% van de stemmen. Van 2009 tot 2014 was hij parlementair medewerker van Candelier. In 2010 volgde hij Alain Bocquet op als voorzitter van de PCF-federatie van het Noorderdepartement. Bij de lokale verkiezingen van 2014 werd Roussel verkozen als gemeenteraadslid in Saint-Amand-les-Eaux. Hij was lijsttrekker bij de Franse regionale verkiezingen 2015 in Hauts-de-France.
Bij de Franse parlementsverkiezingen 2017 raakte Roussel verkozen in de 20e kiesomschrijving van het Noorderdepartement, met 64% van de stemmen in de tweede ronde, tegen een kandidaat van het Front National. De communisten vormen er een parlementaire fractie, Groupe de la gauche démocrate et républicaine (GDR), met linkse vertegenwoordigers uit de Franse overzeese gebieden. Roussel zetelt in de commissie Financiën, Economie en Begroting van de Nationale Vergadering. Het parlementslid staat een deel van zijn maandelijkse wedde af aan de partij.
Op het 38e partijcongres in het najaar van 2018 werd het tekstvoorstel van Roussel en André Chassaigne door de afgevaardigden aanvaard als strategische leidraad voor de partij en werd Roussel gekozen als nationaal secretaris, waarmee hij Pierre Laurent opvolgde.
In 2020 gaf Roussel aan Le Monde te kennen dat hij met zijn partij op eigen kracht wilde deelnemen aan de Franse presidentsverkiezingen 2022. Op 13 maart 2021 maakte hij zijn kandidatuur hiervoor wereldkundig. De partijmilitanten verleenden hun steun aan zo'n campagne. In de 1e ronde behaalde Roussel 2,28% van de stemmen, waarmee hij als 8e eindigde. Emmanuel Macron en Marine Le Pen gingen door naar de 2e ronde, Roussels concurrent op links Jean-Luc Mélenchon eindigde als 3e. Roussel riep nadien op om extreemrechts te verslaan door op Macron te stemmen in de 2e ronde.[1] Hij deed vervolgens een oproep aan Mélenchon en La France insoumise op bij de parlementsverkiezingen van juni 2022 gezamenlijk op te komen.[2] Bij die verkiezingen vormden La France insoumise, de communisten, de groenen en de sociaaldemocraten samen de verkiezingscoalitie NUPES, waarmee ze tweede werden en 131 van de 577 zetels binnenhaalden. De PCF behaalde 22 zetels, 6 meer dan in 2017.
Roussel richtte in 2024 mee het Nouveau Front populaire op, waarmee alle grote linkse en centrumlinkse partijen zouden samenwerken in de parlementsverkiezingen om een dam te vormen tegen de opmars van het extreemrechtse Rassemblement National. Daarbij verloor Roussel zijn eigen zetel in de Nationale Vergadering, in de eerste ronde, tegen een kandidaat van het RN.