Voordat Murofushi in het Westen naam begon te maken, had hij in Azië met de slingerkogel zijn sporen al dubbel en dwars verdiend. In 1993 had hij op de Oost-Aziatische Spelen al de bronzen medaille behaald, gevolgd door tweemaal zilver op de Aziatische kampioenschappen van 1994 en 1996. Op de Oost-Aziatische Spelen van 1997 veroverde hij vervolgens voor het eerst de gouden medaille, gevolgd door eveneens goud op de Aziatische Spelen van 1998. Inmiddels was hij in eigen land voor het eerst in 1995 nationaal kampioen geworden, de eerste van een ononderbroken serie van twintig titels. En ook op de Japanse Nationale Spelen tussen 1995 en 1999 won hij driemaal goud. Jaren eerder, in 1992, had hij zich al voor het eerst ook op een mondiaal toernooi laten zien, bij de wereldkampioenschappen voor junioren. Hierin was hij nog vrij onopvallend als achtste geëindigd. In 1997 nam hij deel aan zijn eerste grote toernooi bij de senioren, de wereldkampioenschappen in Athene, waar hij tiende werd. Een jaar later maakte hij in Sydney zijn olympisch debuut. Hij kwam in de finale niet verder dan de negende plaats, nadat hij zich in de eerste ronde met 78,49 als derde had gekwalificeerd.
Olympisch kampioen
In 2002 won Murofushi het kogelslingeren op de Aziatische kampioenschappen en de Aziatische Spelen. In 2003 won hij een bronzen medaille op de WK in Parijs. In dat jaar gooide hij 84,86 m ver, wat tevens de verste worp was sinds jaren. Hiermee staat Murofushi vierde op de lijst aller tijden van kogelslingeraars (peildatum apr. 2019). Op de Olympische Spelen van Athene in 2004 werd hij tot winnaar uitgeroepen, nadat Adrián Annus uit Hongarije had geweigerd om een dopingcontrole te doen.
Op de Olympische Spelen in Peking werd Koji Murofushi vijfde met 80,71, maar vier maanden na de Spelen kreeg hij alsnog het brons toegekend door de diskwalificatie van twee Wit-Russen, Vadzim Dzevjatowski (zilverenmedaillewinnaar) en Ivan Tsichan (bronzenmedaillewinnaar).[1] De beide Wit-Russen gingen in beroep bij het Hof van Arbitrage voor Sport, welke hen op basis van procedurefouten door het Chinese laboratorium in het gelijk stelde. Zij kregen hun medaille terug ten koste van de medaille van Murofushi.[2][3]