Le groupe X se forme en 1977 à l'initiative du bassiste et chanteur John Doe et du guitariste Billy Zoom. L'amie du premier, Exene Cervenka, rejoint le trio augmenté par le batteur Mick Basher, remplacé par DJ Bonebrake.
La formation punk de Los Angeles sort les simples « Los Angeles » et « Adult Books » sur Dangerhouse avant d'être signée chez Slash Records et d'enregistrer l'album Los Angeles (1980) produit par l'organiste de The Doors, Ray Manzarek. Le style du groupe caractérisé par des influences punk, rock'n'roll et ses harmonies vocales séduit la critique qui s'emballe sur le deuxième album Wild Gift (1981), élu album de l'année par Rolling Stone et le New York Times.
En 1982, X entre dans le giron d'Elektra et enregistre Under the Big Black Sun, un album sombre et rageur marqué par la disparition de la soeur d'Exene Cervenka, Mary. Son successeur, l'ironique More Fun in the New World paru en 1983, montre l'intérêt du groupe pour les sujets d'actualité. En 1985, le quintette John Doe, Exene Cervenka, DJ Bonebrake, Johnny Ray Bartel et Dave Alvin sort l'opus country folk Poor Little Critter on the Road sous l'appelation The Knitters.
Déçu par le manque de succès, le guitariste Billy Zoom annonce son départ après le cinquième album Ain't Love Grand!. Il est remplacé par Tony Gilkyson sur See How We Are (1987), suivi du Live at the Whisky-A-Gogo (1988). X décide ensuite de faire une pause interrompue par les retrouvailles en studio pour l'album Hey Zeus! en 1993 et le live acoustique Unclogged en 1995.
En 1998, Billy Zoom effectue son retour au sein du groupe pour une tournée et quelques titres en studio. En 2005, la sortie du CD et du DVD Live in Los Angeles célèbre les vingt-cinq ans du premier album classé par Rolling Stone parmi les 500 plus grands disques de rock. Parallèlement, The Knitters reviennent avec The Modern Sound of the Knitters. X repart en tournée en 2006 (avec Henry Rollins) et en 2008. Le groupe prétend même écrire de nouvelles chansons.
En juin 2009, Exene Cervenka (Mme Viggo Mortensen à la ville) annonce qu'elle est atteinte d'une sclérose en plaques. Elle rejoint néanmoins ses camarades lors de concerts exceptionnels en 2011, notamment en tournée sud-américaine.
Exene Cervenka (depuis 1989) et John Doe (depuis 1990) ont tous les deux constitué une carrière solo riche de plusieurs albums et collaborations.