Fils de chanteurs d'opéra, Ian David McCreachy naît le 11 septembre 1948 à New Maiden, dans le Surrey, et grandit en Écosse.
À l'âge de dix-sept ans, il rejoint Londres où il rencontres les chanteurs folk Bert Jansch et John Renbourn, influencé comme lui par le style de Davey Graham, père du folk moderne anglais. Encouragé par Hamish Imlach et repéré par le producteur Chris Blackwell, il enreigistre sous le nom de John Martyn son premier album London Conversation en 1967. Malgré ses vingt ans, John Martyn apporte une touche personnelle à la guitare par l'utilisation d'une fuzzbox et d'une cabine Echoplex. The Tumbler (1968), produit par Al Stewart, illustre son penchant pour le jazz.
En 1969, sa rencontre avec la chanteuse et future épouse Beverley Kutner débouche sur une escapade à Woodstock (États-Unis) où est enregistré Stormbringer avec des musiciens de The Band, puis Road to Ruin, avec le contrebassiste de Pentangle, Danny Thompson. Ce dernier deviendra un collaborateur régulier de John Martyn.
En 1973 sort Solid Air, pièce majeure du folk anglais comprenant des titrse comme « Solid Air », dédiée à son ami Nick Drake, « May You Never » et « Head & Heart » que reprendront respectivement Eric Clapton, et le groupe America. Inside Out, paru la même année, se distingue par son travail sur la voix et les textes, assez mystiques. La carrière de John Martyn, rongé par l'alcoolisme, commence à devenir erratique durant la période où sortent les albums Sunday's Child (1975) et un Live at Leeds édité en toute discrétion.
Musicien inventif et éclectique, John Martyn continue de marier le folk, le blues et le jazz sur les albums One World (1977) et Grace and Danger (1980). Signé sur WEA grâce au soutien de Phil Collins, le guitariste plante sa voix grave sur Glorious Fool (1981, produit par Collins et avec Eric Clapton), Well Kept Secret (1982) et le live Philentropy (1983).
Viré par son label en 1988, John Martyn continue à enregistrer des albums de grande qualité sur des labels indépendants, comme en témoignent The Apprentice (1990) et Cooltide (1992). En 1998, And s'aventure sur le territoire trip-hop tout en conservant la patte de ce soliste et chanteur hors du commun. Après un album de reprises, The Church in One Bell (1999) et le live Dirty, Down & Live, Martyn revient avec de nouvelles chansons pour Glasgow Walker (2000).
En 2003, le musicien doit se faire amputer d'une jambe suite à une septicémie. C'est dans une chaise roulante qu'il continue à se produire en public. En 2007 paraissent conjointement les archives d'un Live at the BBC et le documentaire The Man Upstairs. Via son label One World, Martyn publie quelques bandes live (Simmer Din), suivi d'un coffret Universal en 4 CD, Ain't No Saint. Décoré du titre de OBE (Membre de l'Empire britannique) début 2009, John Martyn meurt quelques jours après, le 29 janvier, d'une troisième pneumonie. Fin 2011 paraissent simultanément son dernier album enregistré, Head & Heart, et l'album-hommage.
