Va ingressar al Partit Socialista Obrer Espanyol (PSOE) l'any 1974, en el qual va començar a col·laborar en la Federació Socialista Madrilenya i, més tard, en les comissions d'Ensenyament i Recerca tant del partit com del Grup Parlamentari Socialista.
Un any més tard, en el XXXIVè Congrés del PSOE, va ser escollit membre de l'Executiva i secretari de Comunicació. La seva inclusió en les llistes del partit per part del secretari general del PSOE, Joaquín Almunia, va venir a confirmar la seva notable importància en el Partit en la nova etapa. De fet, va ser un dels principals encarregats de mantenir contactes amb el govern popular sobre ETA arran de la treva de 1999. En el següent Congrés, en el qual José Luis Rodríguez Zapatero va ser escollit nou secretari general del partit, Rubalcaba va entrar a formar part del Comitè Federal del partit. En aquesta etapa, va encapçalar la delegació socialista que va acordar amb el PP el denominat Acord per les Llibertats i contra el Terrorisme, signat el desembre de 2000.[3]
En les eleccions generals de 2004, Rubalcaba va ser responsable de l'Estratègia Electoral del PSOE, i més tard va ser nomenat portaveu del Grup Socialista en el Congrés dels Diputats.
El 4 de febrer de 2012 va ser elegit nou secretari general del PSOE amb 487 vots, enfront de Carme Chacón, que n'aconseguí 465.[7]
Arran dels «mals resultats sense pal·liatius» del PSOE a les eleccions al Parlament Europeu de 2014, va deixar la secretaria general el juliol del mateix any en un congrés extraordinari del partit.[8]
El maig de 2019 va patir un ictus i va ser ingressat a l'Hospital Universitari Puerta de Hierro de Majadahonda en estat d'"extrema gravetat".[10] Finalment, l'ictus va acabar amb la seva vida el 10 de maig de 2019.[1]
.jpg)
.svg){kind=small}
.jpg)
