Né le 14 août 1946 à Beaumont (Texas), Larry Graham Jr. est élevé à Oakland (Californie). C'est en pratiquant la basse dans des petits clubs que Larry Graham met au point une technique qui va révolutionner l'instrument, le "slap", soit une manière de percuter les cordes pour souligner d'avantage le rythme. A partir de 1966, Larry Graham participe à l'aventure Sly and The Family Stone, puis il collabore avec l'extraordinaire diva du funk, Betty Davis.
Larry Graham atteint la célébrité avec Graham Central Station, qu'il forme en 1973. Son groupe devient l'un des fleurons d'un funk pré-disco, déjà amateur de paillettes et de tenues outrancières. Larry Graham casse son jouet en 1979 pour se lancer dans une carrière solo. Ses débuts sont ponctués en 1980 par le tube « One in a Million You », classé n° 9 auBillboard. Ce succès est le seul d'une carrière qui s'essouffle vite.
Au début des années quatre-vingt dix, LarryGraham tente de relancer Graham Central Station, mais en pure perte.Devenu proche de Prince, Larry Graham sort en 1998 l'album GCS2000,sous le nom de Graham Central Station, sur le label NPG.Dès lors, Larry Graham apparaît régulièrement sur scène aux côtés de Prince, ou l'accompagne en tournée comme en juillet 2010 au festival Main Square à Arras (Pas-de-Calais).