Né le 6 mai 1978 au Mans (Sarthe), Fabien Mary suit un parcours d'études musicales classiques à Evreux avant d'être admis au Conservatoire National de Rouen en 1996.
Trompettiste spécialisé dans le jazz, il arrive à Paris en 1998 et noue rapidement des relations avec le milieu musical. Des prestations remarquées lui permettent d'intégrer successivement le Big Band du CNSM dirigé par François Théberge, le Paris Jazz Big Band, l'orchestre de Michel Plastre, la Super Swing Machine de Gérard Badini et la formation de Xavier Richardeau.
En 2000, Fabien Mary crée sa propre formation, le Vintage Orchestra, avec notamment la saxophoniste Sophie Alour, puis un Quartet composé de Hugo Lippi (guitare), Fabien Marcoz (contrebasse) et Mourad Benhammou (batterie). Le premier album Twilight, remarqué pa la critique, est récompensé par le Django d'or Jeune Talent 2003.
L'année suivante, Fabien Mary décroche le Prix « Révélation Jazz à Juan 2004 », ce qui lui permet d'ouvrir l'édition suivante du festival sur la grande scène. Il publie ensuite l'album Chess (2005), très bien accueilli. En 2007, Four and Four réunit son Quartet plus quatre solistes cuivres, Pierrick Pedron (saxophone alto), David Sauzay (ténor), Thomas Savy (baryton et clarinette) et Jerry Edwards (trombone).
Installé à New York depuis 2008, le trompettiste français revient en France pour enregistrer Quartet + One avec sa formation habituelle et le saxophoniste américain Frank Basile.