Le guitariste Jon Schaffer forme Purgatory à Colombus (Indiana). Parti en à Tampa en Floride en 1984, il doit changer le nom du groupe, un autre Purgatory existant déjà. Jon Schaffer pratique un heavy metal influencé par le thrash metal, le speed metal, le power metal et le metal progressif. Iced Earth est avant la création de Jon Schaffer, les autres membres ne faisant souvent que passer. Iced Earth en 1990 ouvre la discographie du groupe sans susciter d'engouement particulier.
Night of the Stormrider en 1991 est bien accueilli au Japon. Iced Earth fait ensuite une pause de trois ans avant de revenir en 1995 pour Burnt Offerings avec Matt Barlow au chant. Iced earth commence alors a tourner à plein régime avec The Dark Saga en 1996 qui s'avère une réussite artistique. Something Wicked This way Comes (1998) et Horror Show (2001) confirment la montée en puissance de Iced Earth. Tribute to the Gods en 2002 n'y va pas avec le dos de la cuillère en matière d'hommage, Iced Earth reprenant pour l'occasion des titres de Kiss, AC/DC, Judas Priest ou Black Sabbath.
Matt Barlow est ensuite remplacé par Tim Owens, qui avait lui-même succédé à Rob Halford au sein de Judas Priest. L'ambitieux The Glorious Burden en 2004 brode sur les différents aspects de la gloire militaire et particulièrement de la bataille de Gettysburg lors de la Guerre de Sécession. Framing Armageddon en 2007 perpétue le succès de Iced Earth, qui annonce bientôt le retour de Matt Barlow. C'est lui qui officie avec bonheur sur The Crucible of Man en 2008. Le groupe sort en juin 2011 le DVD et CD Festivals of the Wicked qui comprend six heures d'enregistrements effectués lors de trois festivals. Tim Owens et Matt Barlow apparaissent tous deux sur l'album. Entre temps, Matt Barlow a de nouveau quitté Iced Earth, il est remplacé par Stu Block qui figure sur Dystopia fin 2011.
En chantier permanent, le groupe de Jon Schaffer change sa section rythmique pour la sortie de Plagues of Babylon en janvier 2014. Luke Appleton (basse) et Jon Dette (batterie) sont les dernières recrues du groupe. Les changements ne s'arrêtent pas là, puisque l'enregistrement de Incorruptible, qui paraît en 2017, se fait sans Troy Seele, le guitariste, remplacé par Jake Dreyer, et sans Jon Dette, suppléé à la batterie par Brent Smedley.