Talabani, som undertiden er blevet kaldt Mam (onkel) Jalal blandt kurdere, var uddannet advokat ved universitetet i Bagdad. Den politiske karriere begyndte han allerede som student, da han grundlagde Den kurdiske studentunion, ungdomspartiet for Kurdistans demokratiske parti (KDP).
Han steg hurtigt i rækkerne i partiet og blev valgt ind i partiets ledergruppe, politbureauet. Som følge af partilederen Mustafa Barzanis autoritære lederstil, så vel som politiske uenigheder, kom det til brud mellem Barzani og politbureauet, som oprettede sine egne væbnede styrker (peshmerga). Politbureauets leder var Ibrahim Ahmad, der senere skulle blive Talabanis svigerfader. I 1966 kæmpede politbureauet sammen med irakiske regeringsstyrker mod KDP.
Partileder og guerillafører
I 1975 var Talabani og Politbureauet med til at oprette Kurdistans patriotiske union (PUK), et socialistisk parti som søgte at bryde det traditionelle klansamfund, som KDP byggede på og samtidig kæmpe mod den arabiske regering i Bagdad.
I 1987 indledte Saddam Husseins hær angrebskampagnen mod kurderne, der er blevet stemplet som folkemord af det internationale samfund. Første fase var angreb på landsbyer under PUK's kontrol og gjorde systematisk brug af giftgas. Talabani og hundredetusinder af andre kurdere måtte flygte fra det nordlige Irak til Iran.
Efter, at allierede styrker havde fordrevet Irak ud af Kuwait i 1991, kom det til oprør mod Saddam Husseins regime flere steder i Irak. Regeringsstyrkerne blev hurtigt fordrevet fra de kurdiske områder uden, at PUK eller KDP var forberedt på dette. Talabani og mange andre kurderledere vendte tilbage til Irak, men måtte snart flygte fra en offensiv fra Baathpartiets republikanergarde. Masseflugten førte til, at det internationale samfund oprettede en "sikker zone" for flygtningene i Nordirak. Fra denne zone har den senere selvstyrende kurdiske region udviklet sig.
I 1992 vendte Talabani tilbage til Nordirak og ledede PUKs arbejde for at udvikle en kurdisk administration i områder, som Baathpartiet havde trukket sig ud af. Modsætningerne mellem PUK og KDP førte til, at det kurdiske selvstyreområde blev delt i to adskilte områder. I 1995 udbrød der kampe mellem de to kurdiske partier. PUK erobrede den kurdiske hovedstad Arbil, og KDP tilkaldte den irakiske hær for at generobre byen. Talabani fik på sin side hjælp fra Iran.
I 1998 blev der skabt en våbenhvile mellem de to partier, som siden har delt magten i den kurdiske region mellem sig.
Præsident i Irak
Efter den allierede invasion i 2003 har samarbejdet mellem KDP og PUK gjort store fremskridt. De to partier har stillet fælles lister ved nationale og regionale valg. Talabani ledede den kurdiske alliance i nationalforsamlingen i Bagdad og blev i 2005 valgt til præsident for Irak, mens KDP-lederen Massoud Barzani (søn af Mustafa Barzani) fik hvervet som præsident for den kurdiske region.
Som statsoverhoved arbejdede Talabani for at samle Iraks forskellige etniske og religiøse grupperinger. Han drev også et aktivt diplomati i verdenssamfundet. Som den første kurder nogen sinde deltog han i møder mellem statsledere i Den Arabiske Liga. Han har flere gange besøgt Ankara for at forhandle med tyrkiske myndigheder og var en hyppig gæst i Washington såvel som i Teheran.
Den 11. november 2010 blev Talabani genvalgt som præsident for en ny periode af den irakiske nationalforsamling. Hans første embedsgerning var at bede den siddende (interim-)statsminister Nouri al-Maliki om at danne en ny regering. Malikis regering tiltrådte den 21. december samme år.
Splittelse i PUK
Talabani og mange andre ledere i PUK, der har tillagt sig en luksuriøs livsstil, er blevet beskyldt for korruption og nepotisme. To af Talabanis sønner fik for eksempel ledende stillinger i den kurdiske administration. Internt i PUK har der været rejst krav om udrensinger, og i 2009 kom det til en splittelse i partiet. Talabanis mangeårige næstkommanderende, Nawshirwan Mustafa, oprettede et nyt parti kaldet Gorran (forandring). Ved lokalvalgene samme år fik Gorran over 50 % af stemmerne i PUKs kerneområde, provinsen og byen Suleimania. Dette var et alvorlig slag for Talabani, der også måtte se sig slået i sin egen hjemby, Koya.
Splittelsen medførte, at PUK ikke længere var jævnbyrdig med Massoud Barzanis KDP. Såvel i den kurdiske regering i Arbil som i nationalforsamlingen i Bagdad er KDP her efter begivenhederne klart største kurdiske parti, mens Gorran og PUK kæmper om andenpladsen.