Die Band wurde 1986 von dem Gitarristen und Bassisten Eddie „King“ Roeser, dem Sänger Nash Kato und dem Schlagzeuger Jack „The Jaguar“ Watt in Chicago gegründet. Namensgebend für die Band war ein Lied der US-amerikanischen Funk-Band Parliament (deutsch etwa „Drang zum Overkill“). Noch im Gründungsjahr veröffentlichte die Band ihre erste EPStrange, I …. Produziert wurde sie von Steve Albini, Nashs Mitbewohner und Kopf der einflussreichen Noise-Rock-Band Big Black.
1989 folgte das DebütalbumJesus Urge Superstar, abermals produziert von Albini und wie bereits die EP ein typisches Noise-Rock-Album. Einen drastischen Stilwechsel stellte das 1990 erschienene Folgealbum Americruiser dar, auf dem der Stil der Band sich zu etwas verschob, das von der Band selbst als eine Mischung aus Arena Rock und Punk beschrieben wurde.
Jack Watts Platz am Schlagzeug wurde 1991 von Johnny „Blackie Onassis“ Rowan (1965–2023[1]) übernommen, mit dem im selben Jahr das dritte Album The Supersonic Storybook aufgenommen wurde. Mit dieser Veröffentlichung, die durchweg gute Kritiken erhielt und ein beachtlicher Erfolg im Underground wurde, schloss die Band den mit Americruiser begonnenen Stilwechsel ab.
Nachdem die Band 1992 als Vorband für Nirvana deren „Nevermind“-Tournee begleitete, nahm sie die EP Stull auf, welche die Titel Girl, You’ll Be a Woman Soon und Goodbye to Guyville enthielt. Im selben Jahr vollzog die Band den Wechsel von ihrem bisherigen Indie-LabelTouch and Go Records zum Major-LabelGeffen Records, wofür der Band einige Kritik aus dem Underground entgegenschlug.
1994 wurde die Band einer breiteren Öffentlichkeit bekannt, nachdem ihre Coverversion des Neil-Diamond-Songs Girl, You’ll Be a Woman Soon von dem Regisseur Quentin Tarantino als Filmmusik für seinen Kinoerfolg Pulp Fiction ausgewählt wurde. Der Titel schaffte es unter die ersten 50 Plätze der Billboard Top 100.
Trotz des kommerziellen Erfolges blieb die Band mit dem 1995 veröffentlichten Album Exit the Dragon ihrem alternativen Stil treu. Das Album sowie die Single-Auskopplung The Break floppten, und die anschließende Tournee musste mangels Publikumsinteresse vorzeitig abgebrochen werden. Zudem machten Drogen- und Alkoholprobleme der Band zu schaffen, so dass die Band 1996 ihre offizielle Auflösung bekannt gab.
2004 versuchten Roeser und Kato – obwohl ohne Plattenvertrag – mit neuem Bassisten Mike „Hadji“ Hodgkiss (Gaza Strippers) und dem Schlagzeuger Bon Quest einen zweiten Anlauf und starteten eine Welttournee.