Formé en 2003, BirdPen scelle l'association musicale du claviériste Mike Bird, du guitariste David Penney alias Dave Pen, et du batteur James Livingstone Seagull. Les débuts du trio sont marqués par la sortie du premier single vinyle Discussing Robots/Digs That Hole cette même année.
En 2005, Dave Pen rejoint les rangs du groupe Archive et participe à l'album Lights. Dès lors, il poursuit son activité au sein des deux groupes, apparaissant avec BirdPen en première partie des concerts d'Archive. BirdPen publie une série de EP's constituée de Fake Kid (2005), Be Yourself (2006), l'édition limitée One in Fifty-Four (2007) et Breaking Precedent (2008).
Sorti dans une première version (sous pochette noire) en 2008, l'album On/Off/Safety/Danger se voit augmenté de deux bonus l'année suivante, dont un remix d'Archive sur le titre « Off », faisant l'objet d'un nouvel EP fin 2009.
