La longue histoire de The Drifters commence à New York, en 1953, lorsque le fondateur du label Atlantic Ahmet Ertegün et le producteur Jerry Wexler créent la formation autour de l'ancien chanteur de Billy Ward & the Dominoes, Clyde McPhatter. Sous son impulsion, le groupe vocal transcende les influences gospel et blues sur une première série de succès dont « Money Honey », « Such a Night » et « Honey Love ».
En 1959, l'arrivée de Ben E. King, succédant à Johnny Moore, annonce l'évolution vers un rhythm'n'blues prisé par le public blanc, ouvrant la voie à une période riche en hits. Après « There Goes My Baby », cosigné avec le manager George Treadwell, suivent de futurs classiques apportés par Doc Pomus et Mort Shuman comme « Save The Last Dance For Me », classé n° 1 en 1960, et « This Magic Moment ». L'année suivante commence un nouvelle ère plus pop marquée par le chant de Rudy Lewis sur « Some Kind of Wonderful », « Up on the Roof » et « On Broadway ».
À sa mort d'overdose en 1964, Johnny Moore revient à son poste pour immortaliser le dernier grand tube, « Under The Boardwalk ». C'est ensuite Charlie Thomas qui chante « I Don't Want to Go Without You » en 1967, peu avant le décès de George Treadwell, remplacé par sa femme Fay qui gère la propriété du nom. Après sa séparation en 1969, la formation réapparaît de temps à autre, avec des effectifs changeants. Sans retrouver la popularité d'antan, The Drifters glane quelques nouveaux titres classés en Angleterre, tels « Sittin' at the Back Row of the Movies » (1974), « There Goes My First Love » (1975) et « You're More Than a Number in My Little Red Book » (1976). En 1983, Ben E. King réintègre brièvement le groupe qui compose toujours sur scène avec sa légende.