Va passar la seva infantesa practicant amb instruments musicals i sense pensar en l'escola. A principis de la dècada del 1980 va formar part de la banda de Pop Candy, amb la que va llançar un disc, Whatever Happened to Fun, abans de formar la banda de Hard Rock / Glam Rock, Kill For Thrills.
És més conegut per un període de tres anys on tocava la guitarra rítmica en el grup Guns N' Roses. Va ingressar a la banda al novembre del 1991, substituint Izzy Stradlin que va deixar la banda enmig d'una gira mundial de 28 mesos.
El 1994 va llançar el seu disc debut com a solista, Pawnshop Guitars, que va comptar amb destacades contribucions de diversos dels seus amics, inclosos tots els llavors integrants de Guns N' Roses. Aquest mateix any va ser acomiadat d'aquesta banda.
Des de llavors ha llançat quatre discs solistes, The Hangover, Rubber, Swag i Gilby Clarke, així com l'àlbum en viu titulat 99 Live. Gilby també va contribuir a It's Five O'Clock Somewhere, el disc de Slash's Snakepit, aportant parts de guitarra rítmica a la cançó "Monkey Chow" i va aparèixer a la banda de gira de Slash. També va realitzar una participació com a convidat en el disc Shrinking Violet del grupL.A. Guns, que també va produir. El 2000 es va tornar a trobar amb el cantor de Guns N' Roses, Axl Rose i van tocar junts en viu.
Clarke es troba actualment a la banda The Starfuckers i va tocar amb el reformat MC5 durant la seva Tour Europeu 2005. El 2006, Clarke es va embarcar en una gira per Amèrica i Europa abans d'entrar, juntament amb l'exbaixista de Metallica, Jason Newsted, el bateria de Mötley Crüe, Tommy Lee i el vocalista Lukas Rossi, a la banda Rock Star Supernova.
