Poni Hoax s'est initialement appelé Le Crépuscule. Formé en 2001 à l'initiative de Laurent Bardainne, ce quartette de jazz expérimental réunit des musiciens talentueux issus du cursus jazz du Conservatoire national de musique et de danse de Paris.

Laurent Bardainne, saxophoniste, claviériste et compositeur rennais, pour qui l'univers musical tourne autour du free jazz depuis le choc qu'il ressent à l'écoute de A Love Supreme (1964) de John Coltrane, s'émancipait déjà vers d'autres horizons lorsqu'il fut membre d'un groupe de punk manga : Mami Chan. Il s'entoure donc de Nicolas Villebrun à la guitare, Philippe Gleizes à la batterie et Arnaud Roulin aux claviers. Corniste surdoué qui se tourne vers les claviers au CNSM, le Nantais Arnaud Roulin est également membre du groupe Soul Reactive qui rassemble Maxime Delpierre, David Aknin, Jessica Constable et Sylvain Daniel (ex-bassiste de Julien Lourau sur Gambit).

En 2002, leur rencontre avec la chanteuse anglaise Jessica Constable, dont la voix n'est pas sans rappeler celle de Beth Gibbons (Portishead), fait infléchir leur style vers le trip-hop ou le rock de Sonic Youth. Cette collaboration se conclue avec la sortie d'un disque sous le label Barnabé : Le Crépuscule des Dinosaures (2003). Le batteur Philippe Gleizes est remplacé par Vincent Taeger, issu de la scène rap et membre de l'ensemble Le Sacre du Tympan de Fred Pallem. Le Crépuscule prend le nom de Poni Hoax, qui n'a aucune signification.

Après s'être fait remarquer au concours CQFD des Inrockuptibles, Poni Hoax enregistre un EP intitulé Budapest avec la chanteuse grecque Olga Kouklaki, qui sort en 2005 sous le label Tigersushi. Ce maxi les propulse sous les feux de la rampe et est repris par des DJ du monde entier, comme Joakim, du même label.

Le groupe trouve sa forme stable lorsqu'il rencontre le chanteur Nicolas Ker. Celui-ci, né en Egypte de parents franco-cambodgiens, qui s'était découvert une âme de rocker à l'écoute de l'album White Light White Heat (1968) du groupe The Velvet Underground, est fasciné par les voix de Frank Sinatra, Scott Walker et David Bowie. Auteur lettré de textes en anglais, il reprend les paroles de « Budapest » et écrit tous les textes en les adaptant à la musique composée par Laurent Bardainne. Sorti en 2006 chez Tigersushi, le premier album Poni Hoax inclut « Budapest » et le titre au refrain pop « She's on the Radio ». Vendu à 5 000 exemplaires, il ne rencontre pas vraiment son public mais est encensé par la critique.

Les prestations scéniques de Poni Hoax, plus propices à l'expression des tempéraments explosifs que les studios d'enregistrement, défraient la chronique et deviennent de plus en plus recherchées. Le groupe assure, entre autres, la première partie de Gonzales & le Together Ensemble, en avril 2008 à l'ICA de Londres. Ce même mois sort le deuxième album Images of Sigrid, coproduit par Joakim et Fred Soulard. Plus travaillé et abouti que le précédent, il traite de la surconsommation culturelle et de l'obligation au bonheur, dans un style alliant rock électro, disco ou cold wave.

Après un passage par le label Abracada Records, qui publie le maxi We Are the Bankers, Poni Hoax signe avec Pan European Recording pour l'album suivant A State of War, sorti en 2013. Son chanteur entame alors une carrière solo et se fait remarquer pour sa collaboration avec Arielle Dombasle. Nicolas Ker revient vers son groupe pour l'enregistrement du quatrième album de Poni Hoax, Tropical Suite, qui paraît en février 2017.