À l'Université des Arts Libéraux du Connecticut College (New London, dans le Connecticut), où ils s'inscrivent à la fin des années 1990, Alec Ounsworth (né le 1/12/1977) et Lee Sargent partagent, durant leur première année, la même chambre. Tous deux sont musiciens : le premier, originaire de Philadelphie, est guitariste, chanteur, qui écrit et compose depuis son adolescence ; le second, natif du Massachusetts, est claviériste et guitariste.
Ayant obtenu leur diplôme en 2000, ils se séparent. En 2004, Lee Sargent recontacte Alec Ounsworth par le biais du site Friendster, afin de former un groupe. Ils sont rejoints par le jumeau de Lee, le bassiste Tyler Sargent, le claviériste et guitariste Robbie Guertin, le batteur Sean Greenhalgh (par ailleurs chanteur de Mr. Brownstone, un groupe-hommage aux Guns N' Roses, qu'il quittera en 2006). C'est à New York, dans le quartier de Brooklyn, qu'est installé le groupe nouvellement formé, à l'exception d'Alec Ounsworth, installé à Philadelphie (Pennsylvanie). Peu de temps avant de donner le premier d'une série de concerts hebdomadaires au club Pianos de Manhattan, un graffiti mural leur donne l'idée de leur nom, qu'on abrège le plus souvent en CYHSY.Révélation internetLe groupe ouvre une page MySpace en janvier 2005, puis enregistre et presse un premier disque (Clap Your Hands And Say Yeah), qu'il co-produit avec Adam Lasus, spécialiste des groupes « indie » (Yo La Tengo, Clem Snide, Versus, Helium). Plutôt que de chercher un label, CYHSY vend ses disques par le biais d'internet. C'est d'ailleurs Tyler Sargent lui-même qui se charge de poster, depuis son domicile, les disques commandés. Le bouche-à-oreille fonctionne à plein et la musique du groupe bénéficie d'un buzz sans précédent sur les blogs musicaux et les webzines, le groupe allant même jusqu'à faire la « une » de Pitchfork Media en tant qu'exemple du phénomène de la sphère internet et de l'effet qu'elle peut avoir sur la vie artistique. Le groupe est l'une des grosses révélations musicales 2005 ; le magazine Rolling Stone le qualifie même de « Hot New Band » de l'année.
Signé en octobre 2005 par le label anglais Wichita Recordings (Bloc Party, Bright Eyes, Yeah Yeah Yeahs), le groupe voit son premier album distribué en Europe l'année suivante. Ils sont d'ailleurs invités à la télévision et à la radio, donnent de nombreux concerts, traversent l'Atlantique (passage à Paris à la Black Session de France Inter et au Trabendo, en février 2006) et le titre « Is This Love ? » entre dans les classements. Peu après, David Bowie - qu'ils citent dans les paroles de « Over And Over Again (Lost And Found) » - assiste à un de leurs concerts ; puis c'est ensuite David Byrne qui les honore de sa présence.
Sur scène, ils jouent leur propre répertoire (écrit presque entièrement par le prolifique Ounsworth), qui comporte de nombreux morceaux inédits, ainsi que quelques reprises, dont « Helpless », de Neil Young. À ses moments perdus, Alec Ounsworth, qui habite Philadelphie, se consacre à son projet parallèle, Flashy Python & The Body Snatchers.
Fin janvier 2007, paraît le deuxième album de CYHSY, Some Loud Thunder. Produit par Dave Fridmann (ex-bassiste de Mercury Rev et producteur de Sparklehorse, Flaming Lips, Weezer, Mogwai), il comporte une chanson intitulée « Emily Jean Stock », hommage d'Alec Ounsworth à celle qu'il vient d'épouser, quelques jours avant la sortie de l'album. Mais la critique et le public font la fine bouche et il ne suscite pas le même enthousiasme que son prédécesseur.
En septembre, le Live at Lollapalooza 2007 enregistré au Grant Park de Chicago le mois précédent, donne un aperçu de leur capacités en concert. Il est distribué exclusivement dans une version téléchargeable sur le site iTunes. Quelques années se passent avant d'autres nouvelles du groupe, annoncé au bord de la séparation. En fait, il a simplement mis ce temps à profit pour remettre à plat sa musique en compagnie du producteur John Congleton, après une escapade en solo d'Alec Ounsworth pour Mo Beauty, en 2009. Paru en septembre 2011, le nouvel opus Hysterical teinté d'influences electro et psychédéliques s'ouvre par le simple « Same Mistake ».
En juillet 2012, les départs successifs de Robbie Guertin et des frères Tyler et Lee Sargent plongent le groupe dans l'embarras. Réduit au duo Alec Ounsworth et Sean Greenhalgh, Clap Your Hands Say Yeah persévère néanmoins et enregistre l'EP Little Moments en 2013, avec moins de guitares et plus de synthés. Avec l'aide du producteur Dave Fridmann, CYHSY réussit à compléter son quatrième album Only Run qui voit le jour en juin 2014, avec la participation du chanteur de The National, Matt Berninger, sur le premier extrait, « Coming Down ».
