Peter Albin, guitariste de country-blues, a déjà joué avec les futurs fondateurs de The Grateful Dead lorsqu'il rencontre Sam Andrew, guitariste rock professionnel à la formation classique et jazz. Les deux musiciens commencent à jouer ensemble, et rapidement, Sam Andrew propose de monter un groupe. Ils se tournent alors vers le guitariste James Gurley, et le trio ainsi formé joue quelques impros, organisées par le producteur Chet Helms.
Peter Albin chante et délaisse son instrument au profit de la basse, et James Gurley devient second guitariste. Bientôt, le trio trouve un batteur, Chuck Jones, et Big Brother and the Holding Company prend vie lors de leur premier concert, en janvier 1966. Dans le public, David Getz, batteur de jazz, remplacera Chuck Jones dès la fin de l'année.
Big Brother and the Holding Company commence alors à jouer au Avalon Ballroom, mais le besoin d'un chanteur plus puissant commence à se faire sentir. Chet Helms contacte alors Janis Joplin, qui, à cette époque, songe à rejoindre The 13th Floor Elevators. Mais la Texane choisit de faire le voyage jusqu'à San Francisco et joue pour la première fois avec Big Brother and the Holding Company au début du mois de juin 1966. Avec l'arrivée de Janis Joplin, le style musical du groupe évolue. De très expérimentale, la musique de Big Brother and the Holding Company devient plus conventionnelle. Le groupe perd quelques fans, mais en gagne de nombreux autres et commence vraiment à se faire un nom sur la scène psychédélique de San Francisco, bien que la présence de la nouvelle chanteuse ne réjouisse pas toujours les autres membres du groupe.
A la fin de 1966, Big Brother and the Holding Company signe son premier contrat avec Mainstream Records, et enregistre dans la foulée son album homonyme en trois jours au mois de décembre de la même année. Bien que Big Brother & the Holding Company reste 30 semaines d'affilée dans les charts, il ne rencontre qu'un succès minime, essentiellement dans les environs de San Francisco. Les critiques à son égard ne sont pas toujours très bonnes, et il faudra attendre la sortie de plusieurs singles et la participation du groupe au Monterey Pop Festival, en juin 1967, pour une reconnaissance au niveau national. En effet, la performance du groupe au cours de ce festival change le cours de sa carrière. De nombreux labels veulent soudainement signer Big Brother and the Holding Company, toujours lié à Mainstream Records par un contrat peu avantageux. C'est alors que le groupe prend comme manager Albert Grossman (Bob Dylan), qui réussit à les extirper du contrat qui les lie à leur label. Le groupe signe cette fois avec Columbia Records.
Une nouvelle carrière s'offre alors à Big Brother and the Holding Company. Columbia les fait jouer à New York par deux fois, où Janis Joplin est présentée comme la star du groupe. La presse l'encense. Cheap Thrills, le deuxième album du groupe, sort à l'été 1968. Contrairement à leur premier opus, celui-ci rencontre d'emblée un franc succès, le single « Piece of my Heart », notamment, devient un énorme tube. A la fin de l'année, le disque est considéré comme l'un des meilleurs albums de 1968 et devient disque d'or. A la fin de l'été cependant, Janis Joplin annonce son prochain départ du groupe pour mener une carrière solo. Sam Andrews la suit, et ils forment tous deux un nouveau groupe qu'ils nomment Kozmic Blues Band.
Big Brother and the Holding Company ne se remettra jamais complètement du départ de Janis Joplin. David Getz et Peter Albin prennent un nouveau départ en rejoignant Country Joe and the Fish avec qui ils tournent à travers les Etats-Unis. Mais les deux acolytes ne tardent pas à quitter le groupe avec l'intention de reformer Big Brother and the Holding Company. A l'automne 1969, le groupe réapparaît, cette fois formé de Sam Andrews, Peter Albin, David Getz, James Gurley rejoints par Nick Gravenites et Kathi McDonald au chant et Dave Schallock à la guitare. De cette nouvelle formation, deux albums voient le jour : Be a Brother en 1970, suivi par How Hard it is l'année suivante. Mais bientôt, un mauvais management, le manque de concert et des querelles internes amènent le groupe à se séparer à nouveau...
Par la suite, Big Brother and the Holding Company se reforme en 1987 pour quelques tournées, avec la plupart des membres fondateurs. Mais James Gurley quitte définitivement le groupe en 1996, en désaccord avec l'idée des autres membres de trouver une remplaçante à Janis Joplin. James Gurley est remplacé l'année suivante par Tom Finch, mais à partir de cette date, le groupe n'aura plus de chanteur attitré. James Gurley décède d'une crise cardiaque le 20 décembre 2009, deux jours avant son soixante-dixième anniversaire. En 2012, Sam Andrews est toujours membre du groupe et Ben Nieves est guitariste à ses côtés. Le Live At The Carousel Ballroom 1968 est édité en mars 2012, chez Legacy Recordings, une filiale de Sony Music. À son tour, Sam Andrew décède durant une opération à coeur ouvert le 12 février 2015.
En 2018, afin de célébrer le cinquantième anniversaire de l'album Cheap Thrills, le label Columbia, qui avait refusé l'intitulé d'origine Sex, Dope & Cheap Thrills, revient sur sa décision et lui ajoute vingt-neuf prises alternatives dont vingt-cinq inédites, portant le total à trente titres.
