Han spillede sin første kamp i Superligaen den 9. maj 2004 mod Esbjerg fB[1]. Det skete da han stadigvæk var ynglinge-spiller for AGF[2].
Det meste af sin fodboldkarriere har Anders spillet sammen med sin tvillingebrorKristian Kaagh. De skiftede sammen til Viborg FF i sommeren 2004 på 2-årige kontrakter [3]. Men begge var ikke i Viborg kontrakten ud, da de skiftede tilbage til AGF med et halvt års mellemrum. Anders var der i 6 måneder og nåede at spille 4 kampe i Superligaen, mens hans bror var ét år hos Viborg FF uden kampe for det bedste hold, inden turen gik tilbage til Fredensvang og AGF.
Her blev det til 16 kampe for Anders, inden han i efteråret 2006 kom uden for truppen til Superligaen. Han blev udlejet til den norske klub Mandalskameratene i foråret 2007. Opholdet i Norge var præget af skader, og det blev ikke til en fast kontrakt.
Fodboldturen gik derefter hjem til Djursland og Grenaa IF[5]. Her blev han "genforenet" med sin tvillingebror Kristian, og blev hurtigt topscorer for holdet i Danmarksserien foråret 2008. I sommeren 2009 blev Grenaa IF en del af overbygningen FC Djursland. I november 2010 skiftede Kaagh til Stenløse Boldklub.
Den 28. juni meddelte Vejle Boldklub på deres hjemmeside, at de havde sikret Anders Kaagh på en kontrakt gældende fra mandag den 30. juni 2014.[6]
I 2004 spillede han 5 kampe for det danske U-19-landshold over en periode på 1½ måned. Først 2 venskabskampe, og derefter 3 EM-kvalifikationskampe [8].