C'est sur les cendres de At the Drive-In, groupe texan d'indie rock, que le chanteur Cedric Bixter-Zavala et le guitariste Omar Rodríguez-López créent The Mars Volta, tentant d'y inclure l'ensemble de leurs passions musicales (du rock au free jazz). Leur premier 45-tours (2002) rassemble le claviériste Ikie Owens et le manipulateur de son Jeremy Michael Ward, ainsi que la pianiste Linda Good, et la bassiste Eva Gardner, quant à elle bien vite remplacée par Ralph Jasso, puis Jason Lader.
Le bouche à oreille qui commence à bénéficier au groupe connaît un dramatique coup d'arrêt au mois de mai 2003, avec la mort par overdose de Jeremy Ward. Le premier album (De-Loused In the Comatorium) est néanmoins édité au mois de juin de la même année. Il est suivi, deux ans plus tard, par Frances the Mute (2005), lequel est immédiatement suivi d'un album en public (Scab Dates).
C'est à l'occasion du troisième album (Amputechture) que le batteur Jon Theodore est remplacé par Blake Fleming (qui a participé à plusieurs démos du groupe), qui lui-même cède la place à Deantoni Parks. Le guitariste John Frusciante (Red Hot Chili Peppers) prend une place prépondérante à cet enregistrement.
A la fin de l'année 2007 est proposé le quatrième disque de The Mars Volta, The Bedlam in Goliath. Cet enregistrement serait basé sur une tablette de spiritisme, qui aurait permis au groupe d'entrer en contact avec l'Au-delà. Persuadé d'être poursuivi par la malchance au cours de la tournée suivante, The Mars Volta décide d'enterrer l'accessoire, dans un lieu connu du seul Rodríguez-López.
Outre les deux leaders, le line-up en 2008 comprend le bassiste Juan Alderete, le guitariste Paul Hinojos (ex-At The Drive-In), le pianiste Isaiah Ikey Owens, Marcel Rodríguez-López aux percussions, Adrian Terrazas González aux saxophones, ainsi que le batteur Thomas Pridgen. Octahedron en 2009, puis Noctourniquet en 2012 confirment le côté fantasque du groupe qui confine au génie de l'avis de ses fans.