Né John Derek Yancey le 13 octobre1986 à Détroit, dans le Michigan, Illa J a grandi au sein d'une famille où la musique tenait une grande place. Fils d'une ancienne chanteuse d'opéra et d'un bassiste de jazz, il est le plus jeune de leurs quatre enfants et se passionne avant tout pour lebasket ball. C'est la disparition tragique, en 2006, de son frère James, plus connu et très respecté dans le milieu du hip-hop sous les noms de J Dilla ou Jay Dee, qui l'incite à reprendre le flambeau. Il met alors de côté ses inhibitions et quitte l'université du Michigan pour se consacrer à la musique.
Illa J collabore avec Karriem Riggins, Black Milk, Guilty Simpson ou encore Big Pooh, membre de Little Brother. Il publie son premier EP, sobrement intitulé Illa J EP, en 2007 et produit l'année suivante son premier album, Yancey Boys. Celui-ci, chargé d'émotion et rendant hommage à son véritable nom de famille, est principalement constitué de beats inutilisés par J Dilla, qui dormaient dans les bureaux du label Delicious Vinyl depuis des années avant que le patron, Michael « Mike Floss » Ross ne les restitue à son jeune frère qui a ainsi posé sa voix sur les instrumentaux. Une version instrumentale sera commercialisée au format digital en 2009 par le label Stones Throw Records.
En 2010, Illa J publie un second EP du nom de 4 Past Midnite. Celui-ci précède deux mixtapes, Dirty Slums et Dirty Slums 2, parues en 2012 et 2013. Elles entérinent l'entrée d'Illa J au sein de Slum Village avec T3 et Young RJ. C'est ensemble qu'ils sortent l'album Evolution en 2013, ainsi que Yes en 2015. Entre-temps, Illa J s'associe avec Frank Nitt sous le nom deYancey Boys et publie en 2013 l'album Sunset Blvd. Illa Jrevient en solo en 2015 avec l'album Illa J LP.
