En 2005, l'école des Beaux-Arts de Nantes assiste à une rencontre décisive : celle des deux frères Gaëtan et Amaël Réchin Lê Ky-Huong, respectivement chanteur-guitariste et bassiste, et du claviériste Antonin Pierre. Ce n'est pas seulement leur goût pour les arts plastiques qui les réunissent, mais aussi leur penchant commun pour la musique, en particulier la pop synthétique / new wave des années 1980 et le rock des années 1990. Pony Pony Run Run se forme très vite avec l'appui d'un second guitariste, Samuel Cortes.
C'est en pensant à Duran Duran ou encore Wet Wet Wet que le groupe choisit son nom. Ce sens du rythme est rapidement expérimenté sur scène, que le quatuor, rejoint par le batteur Frédéric Rivière, va écumer dans toute l'Europe. Ils assurent les premières parties d'Art Brut, The Paper Chase ou encore Federal. En près de trois ans, le groupe accumule plus d'une centaine de dates à son actif, de l'Allemagne à la Pologne en passant par l'Italie.
C'est par hasard que le groupe rencontre Frédéric Lô, le producteur de Daniel Darc ou d'Alex Beaupain. L'alchimie se confirme lors de l'enregistrement du premier album de Pony Pony Run Run, fruit d'une réflexion en commun, à la croisée de plusieurs influences. You Need Pony Pony Run Run paraît en juin 2009 chez le label 3ème Bureau (Wagram). Précédé d'une belle effervescence médiatique autour du morceau « Hey You » , l'album s'avère une réjouissante démonstration de power pop anglophone.
Porté par le succès de ce titre, les Angevins et Nantais brûlent les étapes et se retrouvent avec une Victoire de la musique entre les mains. Après une période de récupération et une nouvelle rasade de concerts, Pony Pony Run Run revient début 2012 avec quelques changements pour l'album Pony Pony Run Run. Frédéric Rivière est parti monter le projet electro Anoraak et a laissé son tabouret de batteur à Vincent Lechevallier, tandis que le guitariste Samuel Costes et le claviériste Antonin Pierre ont délaissé le trio.
C'est dans cette nouvelle configuration que Pony Pony Run Run signe avec le label indépendant PIAS en 2015 et enregistre aussitôt un troisième album précédé du titre electro-pop « Alright » (novembre 2015) puis de « Belong » (février 2016). L'album intitulé Voyage Voyage paraît en mars 2016.