Yo-Yo Ma est né le 7 octobre 1955 à Paris de parents chinois. Sa mère est chanteuse et son père violoniste et professeur de musique. C'est tout naturellement qu'un violon lui tombre entre les mains dès l'âge de quatre ans, puis un alto et le violoncelle dont il fait son instrument de prédilection. En 1961, quand sa famille s'installe à New York, il poursuit ses études et a l'insigne honneur de jouer devant les présidents John F. Kennedy et Diwht D. Eisenhower et d'apparaître à la télévision comme un enfant prodige aux côtés de Leonard Bernstein.
Étudiant dans une école musicale spécialisée, Yo-Yo Ma entre à l'âge de neuf ans à la fameuse Julliard School de New York où il suit les cours de Leonard Rose puis à l'Université d'Harvard. Il est déjà un musicien connu quand il joue au Marlboro Festival pendant quatre années consécutives et remporte l'Avery Fisher Prize en 1978. La même année commence sa carrière discographique qui le voit enregistrer des Concertos pour violoncelle de Saint-Saëns, Lalo et Haydn ainsi qu'un premier volume de Sonates pour piano et violoncelle de Beethoven.
En 1983, Yo-Yo Ma réalise le « grand coup » de sa carrière en enregistrant les Six Suites pour violoncelle seul de Jean-Sébastien Bach, une oeuvre qu'il répète quotidiennement depuis l'enfance. Sa version acclamée par la critique et depuis souvent citée en référence connaît un succès retentissant qui propulse le virtuose propulse au rang des stars de la musique classique, comme en témoigne son passage dans Le Grand échiquier de Jacques Chancel. Yo-Yo Ma enchaîne sur un second volume de sonates beethoveniennes avec son camarade de la Julliard School, Emmanuel Ax, et un récital partagé entre Kreisler et Paganini. Le violoncelliste de nature éclectique, comme il le prouvera par la suite à de nombreuses reprises, étend son répertoire au jazz avec les Suites pour violoncelle et piano de Claude Bolling et à la musique traditionnelle avec un cycle de mélodies japonaises.
Dans les années 1980, Yo-Yo Ma engrange un grand nombre d'enregistrements classiques signés Brahms (Sonates pour violoncelle et piano ; Quartettes avec piano), Schubert (Quintettes à cordes), Mozart, Dvorak (Concerto pour violoncelle ; Trios avec piano), Richard Strauss (Don Quichotte) ou Chostakovitch. Après Hush (1992) en compagnie de Bobby McFerrin et divers albums thématiques, son répertoire prend le large en direction du tango (Soul of the Tango avec Astor Piazzolla), de la bossa nova (Obrigado Brasil en 2003), des musiques de scène et les bandes originales de films de Sept ans au Tibet en 1993, Tigre et dragon en 2000, Plays the Music of John Williams en 2002 et Plays Ennio Morricone avec le compositeur italien en 2005. Avec ses partenaires de The Silk Road Ensemble, il compose un répertoire de morceaux traditionnels des cinq continents pour l'album Sing Me Home, paru en 2016.
Star internationale du domaine classique récompensée par une quinzaine de Grammy Awards, Yo-Yo Ma est insititutionnalisé par le titre d'Ambassadeur de la Paix pour l'Organisation des Nations Unies en 2006 et la Médaille de la Liberté décernée des mains du président américain Barack Obama en 2011.