Sweet se nommait The Sweetshop, puis The Sweet avant 1970, soit deux ans après la formation du groupe en Angleterre, en 1968. Ce groupe de glam rock voit le jour à l'initiative de Brian Connolly (voix), Mick Tucker (batterie), Frank Torpey (guitare) et Steve Priest (basse).
Volontairement androgyne et loufoque, le groupe livre d'abord deux titres en 1969 chez EMI, qui ne marcheront pas et qui verront le départ de Frank Torpey, vite remplacé par Andy Scott à la guitare. Sweet signe ensuite chez RCA en 1971, et c'est sous la direction des songwriters anglais Nicky Chinn et Mike Chapman que le groupe va connaître ses premiers succès, comme « Funny Funny », qui atteint la treizième place des charts anglais, avec ses riffs empruntant autant au hard rock qu'au glam. Entre Queen et T.Rex, le groupe parvient à créer son propre univers.
Viendront les singles « Hell Raiser », « Ballroom Blitz » ou encore « The Six Teens ». C'est en 1973 que le groupe sort son premier album, intitulé The Sweet. C'est aussi à ce moment là que la bande décide de se sépare de son duo de songwriters, Mike Chapman et Nicky Chinn, afin d'écrire son album suivant, Sweet Fanny Adams. Le disque marche très bien en Grande-Bretagne, où il atteint la 27ème position des ventes. Suivra Desolation Boulevard, puis Fox on the Run et son single « Ballroom Blitz », qui rend le groupe populaire aux Etats-Unis en 1975. En 1978, Sweet sort Level Headed, et transforme quelque peu son glam rock psychédélique en rock plus dur, plus sec. C'est d'ailleurs vers le metal que le groupe s'engagera plus ensuite durant la fin des années 1970, avec notamment des singles comme « Love Is Like Oxygen ».
Petit à petit, la notoriété du groupe stagne, puis décline. Brian Connolly quitte le groupe peu après la sortie de ce single. Il est remplacé par Gary Moberley, avec qui Sweet sortira trois albums supplémentaires (Cut Above the Rest, Water Edges et Identity Crisis en 1982). Ces disques ne rencontrent pas le succès escompté et sonnent le glas du groupe, qui se dissout à la fin de l'année 1982. Sweet se reformera par la suite pour quelques concerts, et un album live en 1989, intitulé Live at London's Marquee Club. Plusieurs compilations ou disques live seront édités par la suite, durant les années 1990 et 2000.