The Mountain Goats se forme en 1991 sous l'impulsion de John Darnielle. C'est alors qu'il était infirmier dans un hôpital californien qu'il eut l'idée de ce patronyme en écoutant la chanson de Screamin' Jay Hawkins, « Big Yellow Coat ». Il commence à enregistrer des chansons, entre folk et rock, sur cassettes, qui sont distribuées via un petit label indépendant, Shrimper. John Darnielle continue à sortir des cassettes et des vinyles sous le nom de The Mountain Goats, mais en étant son seul artisan, employant ponctuellement quelques musiciens (dont la fidèle Rachel Ware à la basse), durant toutes les années 90. Cette période de sa carrière lui conféra l'étiquetage low-fi.
Parmi les faits d'armes les plus remarqués de The Mountain Goats durant les années 90, on retiendra les albums Zopilote Machine (1995), Nine Black Poppies la même année, et Full Force Galesburg (1997). Après quelques maxis sortis au début des années 2000, il faudra attendre 2003 pour voir The Mountain Goats livrer un premier album via le mythique label 4AD. Ce sera Tallahassee, qui précèdera We Shall All Be Healed en 2004 et The Sunset Tree un an plus tard. Ce disque marque un virage dans l'écriture de John Darnielle, qui se fait plus poétique et douce. Cela sera vite confirmé par l'album Get Lonely en 2006.
En 2009 sort le sixième album chez 4AD, intitulé The Life of the World to Come. Régulièrement accompagné par Jon Wurster à la batterie, Peter Hughes à la basse et Owen Pallett (Arcade Fire) aux cordes, à la guitare ou aux claviers, John Darnielle signe chez Merge Records en 2011 et livre un album intitulé All Eternals Deck, enregistré dans plusieurs villes différentes avec divers producteurs. En janvier 2013, The Mountain Goats livre un nouvel opus, intitulé Transcendental Youth.
