Formé au début de l'année 1965, The Velvet Underground se compose à l'origine de Lou Reed, alors parolier chez l'éditeur Pickwick et de John Cale, un interprète apporté par l'éditeur pour interpréter les chansons du premier. Leur rencontre est un déclic, et John Cale déménage alors à Manhattan pour travailler avec Lou Reed sur leurs nouveaux titres. Ils sont tous les deux intéressés par la fusion du rock et de l'avant garde. Lou Reed retrouve la même année dans le métro new-yorkais un ancien ami d'université, Sterling Morrison, et forment à trois le groupe originel (un nom tiré du titre d'un roman érotique), enregistrent pour une démo « Venus in Furs » et « Heroin », deux titres écrits par Lou Reed, qui connaissent leur petit succès... en Grande-Bretagne.
The Velvet Underground est alors approché par un promoteur, Al Aronowitz qui leur obtient un concert hebdomadaire au Café Bizarre dans Greenwich Village. Ce café est le décor de la rencontre entre le groupe, qui compte alors cinq membres (Jim et Maureen Tucker a la batterie et au chant) et Andy Warhol, séduit par le coté provocateur du groupe et ses titres et mélodies infectieuses, qui désire avoir à disposition un groupe de rock « interne » à la Factory. Prenant alors le groupe en charge en assurant leur management, il apporte - impose en quelque sorte - aussi la contribution de Nico, un ex-mannequin allemand et chanteuse du cercle de la Factory, pour collaborer avec le groupe sur leur premier album The Velvet Underground & Nico, qu'il produit également et sort sur le label new-yorkais Verve en mars 1967.
C'est album le plus connu - à cause de sa couverture, dessinée par Warhol. Il a été surnommé l'« album à la banane » (Peel slowly and see), - qui contient les titres les plus célèbres du groupe : « Femme Fatale », « Heroin », « Venus in Furs », « Sunday Morning », « I'm Waiting for the Man » et la très controversée « The Black Angel Death Song », tous des compositions originales tant par leurs sujet (sado-masochisme, drogue, la vie des bas-fonds de New York...) que par leurs irrésistibles accents pop apportés par les compositions de Lou Reed, mélangées au grain de folie de John Cale.
Après ce premier album, The Velvet Underground se sépare de Nico et s'éloigne de la Factory - sans pour autant réussir à se défaire de son cachet de « groupe d'Andy Warhol » - et entre en studio en 1967 pour enregistrer son second album White Light/White Heat, probalement le plus expérimental et psychédélique de tous leurs albums, portant plus la marque de John Cale, notamment avec les titres « The Gift », « Lady Godiva's Operation » ou encore « Here She Comes Now ». Cet album marque aussi la fin de la collaboration de John Cale et Lou Reed, séparés par leurs désaccords de plus en plus marqués.
John Cale est remplacé par Doug Yule à la basse, beaucoup plus traditionnel. Cet épisode marque un tournant du groupe vers un album plus pop, des titres plus optimistes, plus doux et plus commerciaux : Loaded (qui contient tout de même le fabuleux « Sweet Jane »). Bien que le groupe soit désormais signé sur Atlantic - ce qui veut dire peut-etre enfin accéder au succès commercial - les dissensions sont trop importantes et Lou Reed quitte le groupe peu après cet album pour privilégier sa carrière solo. L'album suivant, Squeeze, est sorti par le groupe désormais contrôlé par Doug Yule.
En 1993, c'est l'événement : The Velvet Underground se reforme tel qu'il était en 1967, avec John Cale et Lou Reed, pour assurer la première partie de la tournée européenne de U2. Les fans sont plein d'espoir, la maison de disque aussi, mais une fois de plus, les désaccords entre Cale et Reed reprennent le dessus. La mort de maladie en 1995 de Sterling Morrison sonne définitivement le glas de The Velvet Underground. Cette brève réunion mènera tout de même à la sortie d'un CD et d'un DVD live.
Finalement, malgré la très courte durée de vie de The Velvet Underground (de 1965 à 1968-1970 avec le départ de ses deux membres les plus influents) et son faible succès commercial, le groupe peut se vanter d'avoir influencé de façon exceptionnelle la musique des années 1970 à 2000. Nombreux sont les groupes qui revendiqueront son influence sur leur musique et leur inspiration. Le groupe est également le point de départ de l'immense carrière de Lou Reed (décédé en 2013) et de celle de John Cale, une période durant laquelle les deux artistes auront affiné leur esthétique et leurs aspirations et auront fait la richesse de la musique de The Velvet Underground.
