Maarten Devoldere (chant, clavier), Jinte Deprez (chant, guitare), Patricia Vanneste (violon, synthétiseur, chant), Joachim Quartier (basse) et Koen Verfaillie (batterie) forment Balthazar en 2004, à Courtrai (Flandre-Occidentale).
Le son du groupe s'inspire de celui de compatriotes de renom comme Absynthe Minded et Zita Swoon, et se singularise par la richesse instrumentale apportée par le violon et le synthétiseur de Patricia Vanneste. Alors que ses membres ne sont pas encore majeurs, Balthazar se fait remarquer en 2005 avec la chanson « Lost and Found ». Balthazar gagne en 2006 un tremplin organisé par la radio KBC et enregistre l'EP Balthazar. Il tourne ensuite avec Raymond van het Gronewood puis participe au festival de Dour.
C'est après avoir changé de section rythmique que Balthazar sort en 2010 l'album Applause chez PIAS. Balthazar fait alors clairement partie d'un renouveau du rock belge, où s'illustrent également Venus et Suarez. Balthazar se retrouve ensuite en première partie de The Joy Formidable et de dEUS lors de leurs tournées européennes respectives. Balthazar revient sur disque en octobre 2012 pour Rats, qui connaît un succès immédiat. Rats parvient à s'imposer dans les cent meilleures ventes françaises du moment et Balthazar visite à plusieurs reprises la France lors de sa tournée première tournée européenne en solo. De retour en studio pour son troisième album Thin Walls, composé par le tandem Devoldere et Deprez, le groupe fait la rencontre des producteurs anglais Ben Hillier et Jason Cox. Le résultat sort en mars 2015.
