Après le split de leur précédente formation, Soil, Serj Tankian (chant) et Daron Malakian (guitare) fondent System Of A Down en 1995. Leur manager, Shavo Odadjian – qui fit un bref passage en tant que guitariste au sein de Soil – devient rapidement le bassiste définitif du groupe en remplacement d’un certain David Benveniste. Quant au batteur, Ontronik Khatchaturian, il est remplacé en 1997 par John Dolmayan. La formation définitive du groupe est alors constituée, qui ne changera plus. De 1995 à 1997, SOAD enregistre plusieurs démos, qui fourniront l’essentiel de la matière du premier album, et donne de nombreux concerts en Californie, où sa réputation grandit.
Rick Rubin repère le groupe, qu’il signe sur son label American Recordings (rattaché à la major Columbia, du groupe Sony). De novembre 1997 à mars 1998, System Of A Down enregistre avec Rubin son premier album, éponyme, qui sort le 30 juin 1998. Déjà, le son du groupe est très distinct, mélange de heavy metal plombé, de furie thrash, d’ambiances sombres presque gothiques et de structures tour à tour pop ou progressives ; le tout survolé par un chant entre prouesse mélodique à un grondement death. Déjà, les paroles traitent de sujets politiques et sociaux, notamment de la guerre, des sectes, des armes, ainsi que du génocide arménien, une préoccupation majeure pour ces quatre musiciens tous d’ascendance arménienne, héritage qu’ils revendiquent – et qui se ressent dans certaines sonorités orientalisantes.
System Of A Down rencontre un début de reconnaissance commerciale et critique. Le groupe s’en va promouvoir l’album en première partie de Slayer, lors du festival itinérant Ozzfest, puis tourne au côté de Fear Factory, Incubus ou encore Mr Bungle. Les années 98-2001 voient la parution de titres du groupe sur diverses compilations ou bandes originales de film, quelques-uns étant inédits – dont deux reprises. Ainsi, SOAD enregistre-t-il un morceau avec les rappeurs Lil’ Kim, Puffy et Mase, pour la BO de la série South Park (1998) ou encore une reprise de Berlin, « The Metro », pour celle de Dracula 2000 (2000). On note aussi la parution, en 2000, de la reprise de « Snowblind » sur l’album hommage à Black Sabbath Nativity in Black II.
En septembre 2001, paraît Toxicity, le deuxième album de System Of A Down, quelques jours seulement avant les attentats qui frappent notamment le World Trade Center. Il se classe très vite en tête des charts américains et canadiens. Plus audacieux – et peut-être moins lourd sur l’ensemble – que son prédécesseur, il confirme l’inclination du groupe à s’exprimer sur des sujets politiques ou sociaux, avec des paroles traitant du système carcéral américain, de drogue ou de suicide.
En 2002, paraît la compilation Steal This Album !, qui rassemble divers morceaux, plusieurs étant issus des sessions de Toxicity. Quelques chansons circulaient alors sur Internet, rassemblées sous le titre Toxicity II. Le groupe décida alors de sortir ce disque, officiellement pour proposer une version définitive de ces morceaux, dont la plupart étaient inachevés. Le packaging a des airs de disque pirate (ni livret ni pochette, nom du groupe et titre du disque inscrits – dans certaines éditions – dans un style graphique évoquant le marqueur) et un titre appelant au vol (littéralement : « Volez cet album »)… Mais malgré un semblant de « provocation », l’album fait l’objet d’une stratégie marketing classique, avec quatre versions collector du disque, dont la face supérieure a été dessinée par chacun des membres du groupe… Seul « Innervision » sera extrait du disque en tant que single ; cependant une vidéo de « Boom ! » est enregistrée par Michael Moore, pour marquer le rejet par le groupe de la guerre en Irak – elle contient des images des membres de System Of A Down filmées lors d’une manifestation anti-guerre à Los Angeles…
En 2003, Serj Tankian, conjointement à Tom Morello (ex-guitariste de Rage Against The Machine et membre d’Audioslave), fonde l’association à but non-lucratif Axis Of Justice, rassemblant musiciens et organisations de terrain, visant à informer le public sur des causes politiques et sociales diverses : anti-racisme, droits de l’homme, justice économique, etc. Cette même année, Tankian édite un album éponyme avec son projet parallèle Serart, groupe de rock expérimental (à la confluence de la world music, du folk arménien, du rock, du jazz et de l’electro) formé avec le multi-instrumentiste Arto Tunçboyacýyan (dont un morceau figurait déjà en titre-fantôme à la fin de Toxicity). L’album paraît le 22 avril, sur Serjical Strike, le label créé par Serj Tankian en 2001.
En mai 2005, le groupe publie Mezmerize, premier volet d’un double album dont les deux disques paraissent à quelques mois d’intervalle… Le disque se classe numéro 1 d’emblée au Billboard 200 américain pour la deuxième fois (la première, avec Toxicity). La seconde partie, Hypnotize, qui paraît en novembre, connaît le même succès, se classant également numéro 1 d’emblée – ce qui fait de System Of A Down les seuls artistes à avoir placé deux albums N°1 la même année aux Etats-Unis, avec les Beatles, DMX et 2Pac. De ce double album, on remarque une principale nouveauté : la contribution plus grande du guitariste Daron Malakian, qui y co-écrit la plupart des paroles et partage le chant avec Serj Tankian, devenant même le chanteur principal de certaines chansons (dont le single « Lonely Day », issu du second volet). Les deux disques forment un tout – relativement – cohérent, de par la musique et les paroles, l’ensemble ayant quelque chose de cinématographique dans sa construction et ses paroles très « visuelles » évoquant la guerre en Irak ou les maux qui touchent la société américaine. A cela s’ajoute un superbe packaging réalisé par le peintre Vartan Malakian (le père du guitariste). L’excellent single « B.Y.O.B. » (tiré de Mezmerize) reçoit en février 2006 le Grammy pour le meilleur morceau hard rock de l’année 2005.
En mai 2006, le groupe annonçe un « break », lequel pourrait, selon Daron Malakian, durer quelques années mais ne serait pas synonyme de rupture. Selon des rumeurs, des tensions seraient apparues au sein du groupe, en raison de la prédominance de Daron Malakian, guitariste, compositeur, co-chanteur, co-parolier et co-producteur du double album de 2005. Depuis lors, chacun se consacre à ses projets : Malakian a formé Scars on Broadway, rejoint par John Dolmayan ; Odadjian prévoit de travailler avec RZA (Wu-Tang Clan) et de se consacrer à son label et site internet UrSession ; Serj Tankian se consacre à sa carrière solo, avec un premier disque, Elect The Dead, prévu pour la fin octobre 2007 et auquel ont participé notamment Larry Lalonde (Primus), John Dolmayan, Bryan Mantia (Guns ’n’ Roses, Primus).