À l'origine de Caravan Palace, un trio des beaux quartiers, fans de jazz et de musiques tsiganes. Grands admirateurs de Django Reinhardt devant l'Éternel, intéressés par le revival initié par Sanseverino et Gotan Project à la fin de la décennie 1990, le guitariste Arnaud Vial, le contrebassiste Charles Delaporte et le violoniste Hugues Payen (rien avoir avec le fondateur de l'Ordre des Templiers) se lancent dans l'aventure en 2005 en créant Caravan Palace. La Caravane pour évoquer l'univers gitan, bien sûr, et le Palace en hommage à la célèbre discothèque parisienne.
Lors de leurs premières prestations scéniques dans divers festivals, Payen se découvre une vocation d'amuseur public et, entre deux grattages de cordes sur son violon, se plaît à amuser la galerie. La sauce prend et le musicien se voit dès lors intronisé comme le showman attitré de Caravan Palace. Mais très vite, le trio montre ses limites artistiques. Ce n'est pas qu'ils ne soient pas efficaces...mais il manque quand même quelque chose. Une voix, tout d'abord. Arrive alors la Tourangelle Zoé Colotis, réincarnation de Catherine Ringer.
Énergique, dotée d'une voix particulière, la chanteuse permet à Caravan Palace de placer des textes sur leurs musiques, textes toujours loufoques, absurdes et drôles. « Jolie coquine », déjà, mais aussi « Star scat » (qui permet à Colotis de scatter à la façon d'une Aretha Franklin tsigane), « L'envol », « La Caravane » ou « Brotherswings » font mouche auprès du public du Café de la Danse, l'une des premières salles parisiennes à les programmer régulièrement. Bientôt rejoint par le clarinettiste Chapi, le programmateur Toustou et le vibraphoniste Paul-Marie Barbier, le quatuor devient septette et peut déployer toute la palette de ses inspirations, à la fois jazz et electro, dans laquelle se retrouve clairement l'influence du guitariste Biréli Lagrène, l'un des piliers du jazz manouche contemporain.
Comme quantité de jeunes artistes, c'est par l'intermédiaire de la toile que Caravan Palace fait connaître son premier album homonyme. Téléchargeable sur la page MySpace du groupe, l'album trouve finalement une maison de disques pour l'éditer sous forme de CD en septembre 2008, Wagram, qui voit Caravan Palace être une des révélations de l'année et s'écouler à cent-cinquante-mille exemplaires. C'est avec un disque de platine sous le bras que Caravan Palace remet le couvert en 2012. Avec un swing electro devenu plus varié, Panic ! a tout pour ancrer Caravan Palace dans le paysage.
Devenu le fer de lance du mouvement electro swing qui fait valser les étiquettes dans les clubs de Paris et de Londres comme en festival (au Nice Jazz Festival à l'été 2015), Caravan Palace commet un troisième album à l'intitulé cryptique, dessinant la forme d'un visage, < I°_°I >, qui délivre pour extraits les titres « Comics » et « Mighty ».
