Brown si mise in evidenza quando, ancora dilettante nella squadra United Water, vinse una tappa al Tour Down Under 2001 battendo Stuart O'Grady. Passato professionista nel 2002 con la Ceramiche Panaria-Fiordo, in stagione vinse una tappa al Tour de Langkawi e terminò secondo nella prima tappa del Giro d'Italia. Dopo un eccellente debutto nella stagione 2003, distinta da una nuova vittoria di tappa al Tour Down Under e due al Tour de Langkawi, si concentrò sulla partecipazione alle prove su pista dei Giochi olimpici 2004 di Atene. Già campione del mondo nell'inseguimento a squadre nel 2003, ad Atene ottenne due titoli olimpici, nell'americana in coppia con Stuart O'Grady e nell'inseguimento a squadre con Brett Lancaster, Bradley McGee e Luke Roberts, con i quali batté il record del mondo di specialità.
Nello stesso anno fu accusato di aver fatto uso di sostanze dopanti dal connazionale Mark French in un'audizione al Tribunale Arbitrale dello Sport[1][2]. In assenza di vere prove, Brown non venne mai indagato. Tornato a pieno regime alle gare su strada nel 2005, si mise di nuovo in luce al Tour de Langkawi, dove vinse cinque tappe. Nel prosieguo della stagione, malgrado un secondo posto alla Coppa Bernocchi e un terzo al Giro di Romagna, i risultati non furono all'altezza delle performance di inizio anno.
Dopo un fine stagione poco brillante nel 2008, Brown iniziò l'anno 2009 con un'importante serie di vittorie. Al successo di tappa al Tour Down Under, seguirono due vittorie in frazioni alla Vuelta a Murcia e quella nella corsa belga Nokere Koerse. Terminò invece secondo al Trofeo Cala Millor, alla Clásica de Almería e al Ronde van het Groene Hart, e quarto al Trofeo Mallorca. Nel 2010, dopo tre secondi posti di tappa alla Vuelta a Murcia, prese parte al Giro d'Italia come velocista di punta della Rabobank. Nella terza tappa, in terra olandese, venne superato dal belga Wouter Weylandt concludendo secondo. Nel prosieguo di stagione si aggiudicò una tappa al Giro d'Austria.
Nel 2011 si classificò terzo alla Nokere Koerse e colse alcuni altri piazzamenti, mentre nelle stagioni seguenti, sempre in maglia Rabobank (poi divenuta Blanco e Belkin) non ottenne particolari risultati. Nel 2015 si è trasferito tra le file del team Drapac Professional Cycling.