Né le 4 juillet 1943 à Columbus (Géorgie), Fred Wesley grandit dans l'Alabama, où, sous l'impulsion d'une grand-mère professeur de musique, il apprend le piano. Son père, leader d'un big band jazz, l'encourage à suivre des études musicales et élargir sa palette par la trompette puis le trombone.
Après des débuts dans un orchestre amateur, Fred Wesley est enrôlé sur la Ike & Tina Turner Revue. Le tromboniste dégagé des obligations militaires (et musicales en ce qui le concerne), forme son premier groupe The Mastersound en 1967, dans un esprit hard bop, jusqu'à l'invitation à rejoindre l'orchestre de James Brown, The J.B.'s.
De « Say It Loud (I'm Black and I'm Proud) » (1968) à The Payback (1973), Fred Wesley s'impose comme le directeur musical de l'inventeur du funk, participant grandement aux arrangements de classiques comme « Mother Popcorn » ou des albums Black Caesar et Slaughter's Big Rip-Off. La collaboration souvent émaillée de disputes s'interrompt fin 1969 pour reprendre en 1971, s'achève avec les somptueux albums des JB's Doin' It To Death (1973), Damn Right I Am Somebody et Breakin' Bread (1974).
Fred Wesley ne reste pas longtemps sans emploi. Engagé dans la famille Parliament-Funkadelic de George Clinton et participe au démoniaque Mothership Connection (1976). L'année suivante sort son premier album A Blow for Me, A Toot for You enregistré avec son groupe The Horny Horns. Say Blow by Blow Backwards, en 1979, est orienté vers le jazz de ses débuts. Le tromboniste diversifie ses activités en produisant le premier album de Kameleon et en offrant ses services de jazzman d'élite sur les albums d'Earth, Wind & Fire, Barry White, The Gap Band ou Curtis Mayfield.
Recentré sur sa carrière en 1990 avec New Friends, Fred Wesley enregistre de façon boulimique tout au long de la décennie et tourne avec The JB Horns. Au Fred Wesley Group et Fred Wesley Quartet succèdent son autobiographie Hit Me Fred: Recollections of a Sideman (2002) et les albums Wuda Cuda Shuda (2003), It Don't Mean a Thing If Ain't Got That Swing (2006) et With a Little Help from My Friends en 2010. Fred Wesley enseigne la musique à l'Université de Caroline du Nord.