Né à Abidjan (Côte d'Ivoire) en 1969, Aly Keita est initié très tôt au balafon par son père joueur de cet instrument de percussion ancêtre du xylophone et du marimba.
Le flûtiste George Makinto, auteur de l'album An African in Paris, l'initie progressivement au jazz et le dirige vers des musiciens réputés. Aly Keita accompagne d'illustres leaders comme Pharoah Sanders, Joe Zawinul ou Rhoda Scott, et fabrique lui-même ses instruments.
Entre 1989 et 1995, il enseigne l'instrument au Centre de formation de Niamey (Niger) avant de passer à l'INSAAC (Institut National Supérieur des Arts et de l'Action Culturelle) dans sa ville natale.
Fort de son expérience en studio comme en concert, Aly Keita forme en 2006 le trio Magic Balafon avec deux autres joueurs, Hamid Gribi et Gert Kilian (Looping). C'est en 2007 que sort le premier album varié et coloré Akwaba Iniséné, sur le label belge Contre Jour. Il est suivi en 2010 de Farafinko, enregistré en solo.