D'abord baptisé Our Haunted Kingdom, le groupe londonien Orange Blossom se forme en 1995 avec Ben Ward (chant, guitare), Pete O'Malley (guitare), Martyn Millard (basse) et Chris Turner (batterie). La première trace de son existence est la sortie en 1996 de l'EP Electric Wizard/Our Haunted Kingdom, partagé avec le groupe Electric Wizard.
Adepte du doom metal comme du rock stoner aux influences space rock et psychédéliques, Orange Goblin enregistre son premier album Frequencies from Planet Ten qui sort en 1997 et fait sa place dans le circuit du metal. L'année suivante, la formation poursuit avec Tim Travelling Blues et enchaîne avec ce qui est considéré comme son album de référence, The Big Black (2000).
Les albums se suivent à un rythme régulier : Coup de Grace (2002), Thieving from the House of God (2004) et Healing Through Fire (2007) précède le diptyque studio / live A Eulogy for the Damned (2012) et A Eulogy for the Fans: Orange Goblin Live 2012, premier enregistrement en public paru l'année suivante. En 2014, le huitième album studio Back from the Abyss s'ouvre à de nouvelles influences et effectue une première incursion dans les classements de ventes du Royaume-Uni, à la 98ème position. Ce succès est suivi en 2018 de The Wolf Bites Back.
