Kompany startede sin professionelle fodboldkarriere i 2003 i Anderlecht, hvor han også var ungdomsspiller. Efter tre år hos Anderlecht skiftede han til Bundesliga-storklubben Hamburger SV. 22 år gammel blev han i 2008 solgt til Manchester City. Her blev han en vigtig del af holdet, og blev anset for et af de bedste køb på det hold, der blev det mest vindende i England i 10'erne.[1][2] Han blev regnet for en af ligaens bedste midterforsvarere, og i sæsonen 2011–12 blev han anfører for klubben, som samme sæson vandt det engelske mesterskab for første gang i 44 år.[3] Kompany var med på årets hold i Premier League i 2011, 2012 og 2014. I 2012 blev han kåret til årets spiller i Premier League.
Juli 2019 blev han spillende træner for sin barndomsklub Anderlecht. Et år senere, 17. august 2020, annoncerede han, at han stoppede som fodboldspiller, og fortsatte i Anderlecht som træner på fuld tid.[4]
