James Taylor commence sa carrière avec l'obscur groupe de garage rock The Prisoners en 1982. Il a alors tout le loisir de travailler un son dérivé du psychédélisme rhythm'n'blues des années 1960, comme le pratiquait Brian Auger avec Julie Driscoll.
Après la séparation de The Prisoners, il forme James Taylor Quartet en 1985 et commence par adapter à son style des thèmes de films. C'est tout naturelement que sa première victime est le thème de Blow Up de Michelangelo Antonioni, créé à l'origine par Herbie Hancock. La reprise enthousiasme le DJ John Peel et un certain Eddie Piller, futur fondateur du label Acid Jazz.
Le premier album de The James Taylor Quartet, sorti en 1986, s'intitule Mission: Impossible et comprend exclusivement des reprises de thèmes de films ou de séries télévisées. En incorporant des éléments venus du jazz et de la soul, James Taylor avance vers le son acid jazz proprement dit, et enregistre dans la foulée les albums Get Organized (1989) et Do Your Own Thing (1990), qui deviennent des classiques lorsque le genre atteint son paroxysme. En 1995, In the Hand of the Inevitable est la plus importante vente du label d'Eddie Piller.
Le groupe conserve une importante popularité en Grande-Bretagne par le biais de prestations en public riches d'improvisations. Après la sortie de Live at the Jazz Cafe en 2008, il enregistre l'album original New World (2009) et poursuit avec The Template (2011) et Closer To The Moon (2013). En 2015, le James Taylor Quartet est à l'origine d'un projet plus insolite, une messe en l'honneur de sa ville : The Rochester Mass.
