Le groupe se forme en 1999 à New York. Il se compose de trois anciens membres de Jonathan Fire*Eater (Walter Martin, orgue, Matt Barrick, batterie et Paul Maroon, guitares) et de Hamilton Leithauser (chant) et Peter Bauer (basse), issus du groupe The Recoys.
Le quintet ainsi constitué se connait en fait depuis le lycée, fréquenté ensemble à Washington. Ils ont en commun une autre passion pour le son et le matériel vintage (amplis, guitares...) et ont tous peu à peu collecté quelques spécimens qu'ils entassent dans un endroit qui devient leur studio personnel, le Marcata, dans le quartier de Harlem.
A leurs premières amours pour le rock garage et dépouillé, les cinq musiciens ajoutent quelques références plus mélodiques comme U2, Brian Eno, The Smiths, The Velvet Undergroud et Bob Dylan, à qui les intonations de la voix de Leithauser font bien penser. Leurs concerts dans l'East Village (ou jouèrent quelques-unes de leurs idoles cités ci-dessus) se multiplient et Everyone Who Pretended To Like Me Is Gone, leur premier album, sort en 2002 sur le label Talitres.
Le single « The Rat » leur ouvre la voie royale en Angleterre lorsque parait l'album Bows + Arrows,en 2004. Puis A Hundred Miles Off (2006) est le dernier album enregistré dans leur studio Marcata, racheté par Columbia. Mais avant de mettre la clé sous la porte du lieu qui les a vu naitre, the Walkmen y enregistrent Pussy Cats Starring the Walkmen, un album de reprises du projet homonyme que produisit John Lennon en 1974.
En 2008, l'album You & Me les consacre. Il assoit la réputation des New Yorkais en Europe, jusqu'ici restée plus hermétique. Il faut dire que le son du quintet y est plus ciselé que jamais. The Walkmen publient Lisbon , leur sixième album, en octobre 2010.
