Koldo Gil werd geboren in Burlada en is dus plaatsgenoot van Miguel Indurain, zijn grootste idool. Hij werd prof in 2000 bij iBanesto.com en boekte twee jaar later zijn eerste overwinning met een ritzege in de Ronde van Rioja. Zijn echte doorbraak kwam in 2003, nadat hij voor ONCE was gaan rijden, toen hij met een derde plaats in de Ronde van Catalonië bewees ook bergop goed mee te kunnen komen. In 2004 won hij de Ronde van Castilla y Léon, maar zijn eerste grote zege kwam een jaar later, met een etappezege in de Ronde van Italië, toen hij als enige van een vroege kopgroep in een bergetappe de groep met favorieten voor wist te blijven. Eerder dat jaar had hij ook al de Ronde van Murcia gewonnen.
Koldo Gil bleef ploegleider Manolo Saiz trouw en reed in 2004 en 2005 bij dienst nieuwe ploeg Liberty Seguros. In 2006 stapte hij over naar Saunier Duval. Vlak voor aanvang van de Ronde van Spanje 2006 trok de ploegleiding Gil terug uit de wedstrijd omdat hij op de lijst met wielrenners stond die betrokken zouden zijn bij de doping-affaire Operación Puerto. In augustus 2007 werd Gil door de UCI officieel van de lijst met verdachte renners geschrapt.
Op 16 februari 2009 zette Gil een punt achter zijn wielercarrière, nadat hij geen ploeg vond voor het seizoen 2009.
