Jean-Baptiste Frédéric Isidore Thielemans voit le jour à Bruxelles le 29 avril 1922. Né de parents cafetiers à Marolles, il joue régulièrement les tubes du moment à l'accordéon dans son enfance avant de s'intéresser à l'harmonica à dix-sept ans. Il fait ses débuts avec cet instrument dans les cabarets durant la Seconde Guerre mondiale puis s'initie à la guitare. Il perfectionne alors son jeu à l'écoute des disques de son compatriote Django Reinhardt, qui le marque profondément.
Après la guerre, il gagne le surnom de « Toots », plus moderne et « américain » que son prénom, emprunté à d'autres musiciens de l'époque. En 1947, après quelques prestations dans des bases américaines, il effectue son premier voyage aux États-Unis, des rêves plein la tête. Toutefois, c'est au Festival de jazz de Paris qu'il a l'opportunité de jouer avec Charlie Parker deux ans plus tard. L'année suivante, il accompagne Benny Goodman lors d'une tournée européenne. C'est en 1952 que « Toots » Thielemans décide de s'établir à New York pour faire carrière.
Parrainé par Charlie Parker, il accompagne Dinah Washington puis est engagé pendant sept ans comme guitariste du quintette de George Shearing. Parallèlement, le musicien belge se produit sous son nom dans des clubs avec des formations interchangeables et enregistre ses premiers albums avec succès : The Sound (Columbia, 1955), Time Out for Toots et Man Bites Harmonica (1958), The Soul of Toots Thielemans (1960). En 1961, le titre « Bluesette » montre son talent de guitariste et celui plus inattendu de siffleur. Il lui apporte une notoriété internationale.
Dès lors, connu dans le milieu du jazz, « Toots » Thielemans multiplie les séances en studio et les tournées aux côtés de noms prestigieux comme Oscar Peterson, Ella Fitzgerald, Dizzy Gillespie, Bill Evans, Jaco Pastorius, Billy Eckstine ou le groupe de fusion Spyro Gyra, ainsi que des artistes de la pop et du rock tel Paul Simon, Billy Joel et Julian Lennon. Au gré des missions, il est engagé invariablement comme guitariste, harmoniciste, ou même siffleur. De retour aux États-Unis après un bref séjour en Suède, il joue dans le groupe-maison d'une émission de télévision et compose pour la publicité ou le cinéma, en collaboration avec Quincy Jones. En outre, le multi-instrumentiste donne des cours de musique et continue sa carrière tout au long des décennies suivantes.
En 2001, « Ket » (son surnom en Belgique), déjà nommé docteur honoris causa de l'Université libre de Bruxelles, est anobli et fait baron par le roi Albert II de Belgique. En 2009, il intègre le cercle fermé des diplômés du NEA Jazz Master et fête le centième anniversaire de Django Reinhardt avec Philip Catherine. En 2012, son quatre vingt-dixième anniversaire est célébré au Lincoln Center de New York en compagnie d'Herbie Hancock, Dori Caymmi, Eliane Elias, Kenny Werner, Marc Johnson et Oscar Castro-Neves. Le 12 mars 2014, « Toots » Thielemans annonce sa retraite. Il décède de mort naturelle à l'âge de 94 ans, dans sa ville natale, le 22 août 2016.