James Dewitt Yancey naît le 7 février 1974, grandissant avec deux frères et une s?ur, dans une maison entre Mc Dougall et East Nevada dans la banlieue de Detroit. Il s'inspire vite de sa mère ancienne chanteuse d'opéra et son père bassiste de jazz pour développer une sensibilité musicale remarquablement précoce. A l'âge de deux ans, il collectionne déjà les disques pour les jouer par la suite dans le parc voisin.
Il étoffe ses talents musicaux dans la cave de ses parents, entre sa collection de disques grandissante et ses rêves d'imiter son modèle Pete Rock, tirant à l'époque le meilleur d'un lecteur à cassettes. Il rencontre en 1992 l'une des principales figures de la scène locale, Amp Fiddler, qui lui enseigne les rudiments de la production à la MPC, sampleur qu'il apprend bien vite à maîtriser. Si bien que son association avec Phat Kat sous l'entité First Down leur permet de devenir le premier groupe de rap issu de Detroit à signer sur une major en 1995, Payday Records. Mais les ennuis financiers de cette dernière les arrêtent au premier single.
Jay Dee a mis un pied dans la porte, rencontre Q-Tip d'A Tribe Called Quest qui l'invite à intégrer le collectif The Ummah en compagnie d'un autre membre du groupe, Ali Shaheed Muhammad. C'est sous ce patronyme qu'il signe la plupart de ses productions du milieu des années 1990, travaillant pour Janet Jackson, De La Soul, Busta Rhymes ou encore ATCQ justement. Il prend en charge la majorité du second album de The Pharcyde Labcabincalifornia même si l'expérience se révèle douloureuse, le producteur se retrouvant bien souvent médiateur entre les membres du groupe en conflit perpétuel. Son plus gros succès « Got 'til It's Gone » pour Janet Jackson remporte un Grammy Award en 1997, injustement crédité à Jimmy Jam et Terry Lewis.
Il poursuit sans cesse, décrochant finalement un contrat pour Slum Village, le groupe qu'il avait fondé avec ses camarades d'école R. L. Altman (T3) et Titus Glover (Baatin). Ils peuvent enfin sortir leur premier album Fantastic, Vol. 2 en 2000, nommé après la maquette de 1997 du même nom. Il est également l'un des fondateurs d'un nouveau super groupe de producteurs, The Soulquarians, rejoignant Questlove, D'Angelo ou encore James Poyser. Cette association lui permet de travailler avec Erykah Badu, Talib Kweli ou encore Common pour lequel il apporte une patte musicale dominante sur son album Like Water for Chocolate la même année.
Il fait ses débuts en tant qu'artiste solo en 2001, même si ses prestations au sein de Slum Village ne laissaient pas forcément indiquer cette nouvelle orientation de carrière. Il sort un premier single en 2001 « Fuck the Police », sur Up Above Records, suivi de Welcome 2 Detroit, sur BBE, qui lance la série Beat Generation sur ce même label. Il change de nom, se rebaptisant J Dilla afin de se différencier du producteur Jermaine Dupri également surnommé J.D. Il signe sur MCA en 2002 pour ne pas sortir grand chose au final en raison de la fusion à venir de MCA avec Geffen Records. En effet, ni l'album produit pour ses proches Frank-N-Dank 48 Hours, même dans sa version revue, corrigée et dépourvue de samples, ni son album solo Pay Jay terminé en 2003 et sur lequel il a convié tous ses producteurs préférés, de Pete Rock à Nottz, ne voient le jour.
Jay Dee patiente en travaillant avec des structures de tailles plus humaines mais bien davantage motivées, comme le label allemand Groove Attack, pour sortir le EP Ruff Draft en 2003. Le son volontairement dur et la volonté de ne plus se fourvoyer avec les majors apparaissent clairement.
Au tour de Stones Throw de s'intéresser au rappeur/producteur, et s'ensuit la collaboration avec Madlib sur Champion Sound toujours en 2003. C'est à la même période que des rumeurs circulent quant à la santé de J Dilla, et il doit révéler qu'il souffre du lupus l'année suivante. Il termine sa tournée européenne fin 2005 en chaise roulante, voulant absolument profiter de la chance de remercier une dernière fois ses fans, même si sa condition physique s'en voit dangereusement compromise.
Il meurt le 10 février 2006, trois jours après ses 32 ans, dans sa maison de Los Angeles ; son dernier album Donuts faisant office de dernier cadeau d'anniversaire, composé depuis sa chambre d'hôpital. Il laisse plusieurs projets quasiment achevés, comme The Shining qui sort le 8 août 2006 sur BBE Records, ou Jay Love Japan sans véritable label officiel. Ainsi que de nombreuses traites en raison de sa longue hospitalisation et pour lesquelles sa famille a encore du mal à faire face.
C'est désormais sa mère qui a pris le relais, fondatrice de la J Dilla Foundation luttant pour combattre le lupus à travers le monde, elle-même atteinte de ce dysfonctionnement génétique, accompagnée de son fils cadet Illa J qui officie derrière le microphone.