Rosický startede sin seniorkarriere i 1998 i Sparta Prag i sit hjemland, hvor han også havde spillet stort set hele sin ungdomskarriere. Han spillede for klubben i fire sæsoner og var med til at vinde tre tjekkiske mesterskaber. I 2001 blev det offentliggjort at han var blevet solgt til Borussia Dortmund i Bundesligaen i Tyskland.
Borussia Dortmund
Rosický tilbragte de følgende seks sæsoner i Dortmund-klubben, og hans præstationer for holdet var med til at skabe ham et ry som en af Europas førende kantspillere. I Rosickýs første sæson i klubben vandt holdet Bundesligaen, og hurtigt var der bud efter tjekken fra andre europæiske topklubber. I sommeren 2006, efter at have optrådt 149 gange for Dortmund og scoret 20 mål, blev det offentliggjort at Arsenal F.C. havde sikret sig en kontrakt med Rosický.
Rosický var en fast del af Arsenals trup i sin første tid i klubben, men den 26. januar2008 blev han skadet i en FA Cup-kamp mod Newcastle, en skade der (pr. februar 2009) har holdt ham ude af holdet i mere end et år.