Neeme Järvi est né le 7 juin 1937 à Tallinn dans l'actuelle Estonie. Il fait ses études de musique à Tallinn puis à Leningrad (actuelle Saint Petersbourg) avec le maître Evgeny Mravinsky.
Il commence sa carrière à Tallinn à la direction de l'orchestre symphonique de radio et télévision puis à l'Orchestre Symphonique d'Etat et l'Opéra de Tillinn.
Il se fait remarquer pour la première fois sur la scène internationale en 1971 en obtenant le premier prix de l'Académie Sainte Cécile de Rome, concours international de chef d'orchestre.
En 1980, il migre avec sa famille aux Etats-Unis. En 1982, il prend la direction musicale de l'orchestre Symphonique de Göteborg.
Il gardera le poste 22 ans ! Il va se construire avec cet orchestre une réputation. A son passage, l'orchestre va passer de 80 à 110 musiciens. Il enregistre notamment pour Deutsch Grammophon l'intégrale des oeuvres pour orchestre de Grieg avec l'orchestre Symphonique de Göteborg.
De 1990 à 2005, il occupe le poste de directeur musical de l'orchestre Symphonique de Detroit. Cette collaboration donnera naissance à de nombreux enregistrements notamment chez Chandos.
La (très) riche discographie du maître est disponible chez Deutsche Grammophon, Universal, Bis. Mais c'est sur Chandos qu'il sera le plus prolifique.
Neeme Järvi se consacre essentiellement aux compositeurs romantiques, dont son excellent Peer Gynt, et aux compositeurs baltes et du nord de l'Europe.
En 1968, il dirige la première de Credo, oeuvre composée par son ami et compatriote Arvo Pärt. A noter : les oeuvres orchestrales de Johan Halvorsen enregistrées pour Chandos avec Bergen Philharmonic sont l'occasion de découvrir ce compositeur norvégien méconnu du XIXème siècle. La découverte du patrimoine scandinave est un leitmotiv pour Neeme Järvi : Niels Gade chez Bis avec l'intégrale des symphonies en 3 volumes ou l'Orchestral Works de Johan Alvorsen chez Chandos.
Dvorak, Grieg, Mahler sont aussi à l'honneur dans la discographie de l'Estonien et le chef s'essaye même avec succès à Wagner. Le ring et Persifal,Tristan et Isolde par le Royal Scottish National Orchestra font partie des interprétations de référence du génial compositeur allemand.
Les compositeurs russes ne sont pas en reste. Son Roméo et Juliette de Prokofiev avec le Royal Scottish National Orchestra comme Jeu de carte Orpheus et Histoire du soldat de Stravinsky avec l'orchestre Royal de Concertgebouw, toujours chez Chandos, ou encore l'extraordinaire « Dans les steppes de l'Asie Centrale Poème Symphonique » d'Alexandre Borodine chez Deutsche Grammophon.
En 2008, pour ses 70 ans, un concert est organisé à Tillinn avec ses deux fils également chefs d'orchestre, Paavo Järvi et Kristjan Järvi.
Neeme Järvi a joué avec de nombreux orchestres. Parmi les plus importantes collaborations du maître, il y a l'orchestre Roaym de Concertgebouw, le Royal Scottish National Orchestra (RSNO), chef invité au Japan Philharmonic Orchestra, l'orchestre de Paris et l'opéra Bastille, le New York Philharmonic, le Chicago Symphony , le Teatro Colon de Bunos Aires, le Metropolitan Opéra...
Il cumule depuis 2005 le poste de directeur musical de l'orchestre Symphonique du New Jersey et le poste de chef principal de l'orchestre de la Résidence de La Haye.
Son retour tant espéré en Estonie à la direction de l'orchestre National d'Estonie échoue en 2010, quelques mois après sa nomination. Il prend à partir de janvier 2011 la direction artistique de l'orchestre de Suisse Romande.