Né le 23 juillet 1943 à Oak Grove (Louisiane) dans une famille de sept enfants dont il est le benjamin, Tony Joe White apprend à jouer de la guitare et du piano à la maison et s'intéresse au blues par l'intermédiaire de Lightnin' Hopkins. Après avoir formé ses premiers groupes Tony & the Mojos puis Tony & the Twilights au lycée, il se rend à Nashville pour une audition et signe un contrat avec le label Monument Records.
Epaulé par Billy Swan (auteur du fameux « I Can Help »), Tony Joe White enregistre quelques simples sans succès ainsi que l'album Black and White (1968), dont est extrait « Polk Salad Annie ». Neuf mois après sa sortie en simple, le titre atteint le Top 10 du Billboard et se voit repris par Johnny Hallyday et Elvis Presley qui en fait un classique. En France, un autre titre, « Soul Francisco », fait le bonheur des radios. L'album suivant, ...Continued (1969) révèle deux nouveaux titres « Roosevelt and Ira Lee » et « Rainy Night in Georgia », dont Brook Benton tire un tube. Le style particulier de Tony Joe White, qualifié de swamp rock (littéralement « rock des marais »), se signale par un jeu de guitare lancinant, une rythmique funk et les influences croisées du blues et de la country.
Invité au festival de l'île de Wight en 1970, populaire en Europe, Tony Joe White entame une longue collaboration avec le label Warner qui publie les albums Tony Joe (1971, avec « They Caught the Devil and Put Him in Jail in Eudora, Arkansas »), produit par Peter Asher et l'excellent The Train I'm On (1972), enregistré avec la fine équipe de musiciens des studios Muscle Shoals. Elvis Presley flashe à nouveau sur la ballade « I've Got a Thing About You, Baby » qu'il reprend. L'album suivant, l'intimiste Homemade Ice Cream (1973), très apprécié des fans, est boudé par le grand public. Tony Joe White traverse une passe difficile après le film Catch My Soul, remake d'Othello réalisé par Patrick McGoohan dans lequel il joue et interprète quatre de ses chansons.
Après une succession d'albums moins inspirés pour les labels 20th Century Fox et Casablanca-CBS, Tony Joe White arrive chez Columbia pour l'album Dangerous (1983), puis Remark Records (distribué par Polydor et Mercury). Sa carrière se redresse lors de sa collaboration avec Tina Turner pour l'album de la chanteuse soul Foreign Affair (1989), dont il signe quatre titres (notamment le morceau-titre et « Steamy Windows ») et avec laquelle il partage l'équipe de management et dédie le titre « Tina ». Ses propres albums Closer to the Truth (1991), Path of a Decent Groove (1993) et Lake Placid Blues (1995) ont à nouveau les faveurs du public, en particulier en France où le chanteur a ses habitudes (« Paris Mood Tonight », « Catwalking Alley in Nice ») et collabore avec Johnny Hallyday.
En 2004, The Heroines abrite des duos avec Emmylou Harris, Lucinda Williams et Shelby Lynne, tandis que Uncovered (2006) accueille Eric Clapton, Mark Knopfler, J.J. Cale et Michael McDonald. Si en 2008 l'album Deep Cuts se pare de quelques bidouillages électroniques, le Louisianais revient à son style sur ses enregistrements suivants : The Shine (2010), sous son propre label Swamp Records, puis Hoodoo (2013), pour Yep Roc Records. Après la sortie de la compilation The Complete Warner Bros. Recordings (2015) paraissent Rain Crow (2016) et son dernier album Bad Mouthin' (2018), paru un mois avant son décès à Nashville (Tennessee), d'une crise cardiaque, à l'âge de 75 ans.
