Pianiste depuis l'âge de cinq ans, Joseph Leslie Sample grandit à Houston, dans l'État du Texas (États-Unis) où il voit le jour le 1er février 1939. Élève de l'organiste Curtis Mayo, il rencontre le tromboniste Wayne Henderson, le saxophoniste ténor Wilton Felder et le percussionniste Stix Hooper avec qui il forme The Jazz Crusaders en 1954.
La formation proche du style hard bop d'Art Blakey et ses Messengers émigre à Los Angeles où elle rencontre un succès croissant depuis l'album Freedom Sound (1961). Pianiste éclectique doté d'une solide formation classique et jazz, Joe Sample accompagne Johnny Hartman puis Bill Henderson entre 1963 et 1965. Son jeu tout en finesse s'accomodant à divers styles jazz, blues, soul ou rock en fait l'un des musiciens les plus sollicités de la Côte Ouest. Dans les années 1960/70, il participe à une centaine de séances dont celles pour Les McCann, Canned Heat (Living the Blues), Joe Pass, Kenny Burrell, Gene Ammons, Donald Byrd (Black Byrd), Dennis Coffey, son ami Larry Carlton, Marvin Gaye (Let's Get It On), Tom Scott, Joni Mitchell (Court and Spark), Albert King, Ray Charles ou Steely Dan (Aja). La liste est longue et inclut même une collaboration avec le groupe allemand d'avant-garde Can (Soon Over Babaluma).
Cette activité débordante n'empêche pas le pianiste de revenir aux productions des Crusaders, ni d'intégrer ponctuellement les formations d'Harold Land (1967-1968), Bobby Hutcherson (1967 à 1971), Oliver Nelson, Quincy Jones (1972) et Tom Scott avec son L.A. Express (1973). En 1975, il fait une apparition avec The Rolling Stones. Piionnier du piano électrique aux sonorités jazz funk, Joe Sample est pour une bonne part dans le succès de l'album Street Life des Crusaders, porté par la voix de Randy Crawford.
En 1978, Joe Sample réactive sa carrière solo : Rainbow Seeker succède à Fancy Dance, sorti en 1969. L'excellent Carmel suit en 1979, puis une dizaine d'autres plus ou moins réussis dans les années 1980-1990. Invitation (1993) et Did You Feel That? (1994) reviennent à une plus grande inspiration, comme The Pecan Tree en 2002. Suivent des collaborations remarquées avec Lalah Hathaway (fille de Donny Hathaway) sur The Song Lives On en 1999 et le tromboniste Nils Landgren sur Creole Love Call en 2006. La même année est marquée par ses retrouvailles avec Randy Crawford avec l'album Feeling Good, suivi de No Regrets (2008) et d'un Live paru en 2012, enregistré avec son fils Nicklas et le batteur Steve Gadd. Pionnier du jazz funk, Joe Sample décède d'un cancer de la gorge le 12 septembre 2014, à l'âge de 75 ans.
