The Heavy se forme à Noid, non loin de la commune de Bath, dans le sud-ouest de l'Angleterre, en 2003.
Devenus amis par leur goût commun du cinéma underground et de l'âge d'or de la soul, le chanteur d'origine indienne Kelvin Swaby et le guitariste fan de garage rock Dan Taylor engagent à la section rythmique Spencer Page et Chris Ellul. En chemin, d'autres musiciens se joignent à cette joyeuse bande qui fait revivre l'esprit des années 1960 dans son mélange de rock et de soul.
Après quelques simples sortis par le label electro Ninja Tune, The Heavy se fait connaître avec l'album Great Vengeance and Furious Fire. Paru en Grande-Bretagne en septembre 2007, il traverse l'Atlantique au printemps, à la grande satisfaction des magazines Spin et Rolling Stone qui offrent leurs colonnes au groupe. En mai 2008, The Heavy se produit au festival South by Southwest à Austin (Texas).
En octobre 2009, le deuxième album The House That Dirt Built vient conforter les espoirs placés sur ce quintette à la musique roborative. Un sample de Dyke & the Blazers apparaît sur « How You Like Me Now? », qui bénéficie de la présence de la section de cuivres de Daptone Records, The Dap-Kings Horns. Le groupe se retrouve à Columbus, en Géorgie, dans le temple de la Southern Soul, pour l'enregistrement de son troisième album auto-produit The Glorious Dead (2012), suivi d'une longue tournée. Ce n'est qu'en 2016 que paraît le quatrième album Hurt & the Merciless, enregistré cette fois à Bath et contenant le simple « Since You Been Gone ».
