O Orange Goblin formou-se em 1995 com o nome de Our Haunted Kingdom, e logo chamaram a atenção da gravadora Rise Above Records, gravando então a música Aquatic Fanatic, que apareceu num split com a banda Electric Wizard em 1996.[1] Depois deste primeiro single gravaram os álbunsFrequencies from Planet Tem (1997), Time Travelling Blues (1998) e The Big Black (2000), álbum que lhes proporcionou seus primeiros sucessos e que lhes levou ao topo da cena inglesa, junto a Electric Wizard e Cathedral.[1][2]
Em 2002 lançaram outro de seus álbuns mais celebrados pela crítica, Coup de Grace, no que giraram para um som mais centrado no hard rock que no stoner e o doom (estilos mais presentes em seus três primeiros álbuns) e introduziram o punk de maneira evidente, graças a uma versão de We Bite do Misfits.[3]
Em 2004 lançaram seu quarto álbum e o último na Rise Above Records: Thieving from the House of God, um trabalho continuista com respeito ao caminho que a banda tinha tomado com Coup de Grace. A banda gravou o álbum como um quarteto após a saída de Pete Ou'Malley, segundo guitarrista da banda.[4]
No dia 16 de dezembro de 2005 a banda celebrou seu décimo aniversário com um concerto no Underworld Clube (Londres), junto aos grupos Scissorfight e Blood Island Raiders com a casa cheia e ingressos esgotados.[5]
Electric Wizard/Our Haunted Kingdom (Rise Above Records, 1996). Singelo em 7" compartilhado com Electric Wizard. O Orange Goblin (então chamado Our Haunted Kingdom) contribuiu com Aquatic Fanatic no lado B.
Chrono.Naut/Nuclear Guru (Man's Ruin Records, 1997). CD compartilhado com Electric Wizard. Inclui Nuclear Guru completo.
Orange Goblin/Alabama Thunderpussy (Eccentric Man Records, 2000). Singleo compartilhado com a banda Alabama Thunderpussy. O lado A é do Orange Goblin, com uma versão de «Freelance Fiend» de Leaf Hound, banda inglesa de hard rock.
Aparições em compilações
Saruman's Wish, em Dark Passages II (Rise Above Records, 1996)
Aquatic Fanatic, em Stoned Revolution - The Ulimate Trip (Drunken Maria Records, 1998)
Quincy the Pig Boy, em Rise 13 (Rise Above Records, 1999)
Black Shapes of Doom, em Bastards Will Pay: Tribute to Trouble CD (Freedom Records, 1999)