John Royce Mathis naît le 30 septembre 1935 à Gilmer (Texas). Le fils de domestiques d'un milliardaire se fait remarquer pour ses performances d'athlète à l'université de San Francisco. C'est cependant vers le chant qu'il étudie intensément qu'il se tourne.
Recruté par Columbia, Johnny Mathis enregistre son premier album A New Sound in Popular Song (1957) conduit par Teo Macero, Gil Evans et John Lewis. Il obtient un premier grand hit avec « Wonderful, Wonderful » avec l'orchestre de Ray Conniff. Suivent alors les ballades « The Twelfth of Never », « It's Not for Me to Say » (n°5), son premier n°1 « Chances Are », puis « Teacher Teacher », « A Certain Smile » et « Winter Wonderland ». Il est le premier artiste à bénéficier d'une compilation de ses succès (Greatest Hits en 1958).
Pendant les années 1960, sa voix chaude de crooner façon Nat King Cole ne lui permet pas de résister à l'invasion des groupes britanniques. Il sombre dans la drogue et ne doit sa survie artistique qu'à la reprise de chansons des Beatles.
En 1974, il renoue avec le succès en Grande-Bretagne avec « I'm Stone in Love With You », que suivra, deux ans plus tard, « When a Child Is Born ». En 1978, il retourne aux États-Unis où « Too Much, Too Little, Too Late », un duo avec Deniece Williams, décroche la première place des charts. Il récidive avec Gladys Knight, Dionne Warwick, Natalie Cole, Nana Mouskouri.
Au cours des années 1990 et suivantes, les hits se font plus rares. Le crooner, qui n'est plus au goût du jour, donne des galas et réalise quelques albums de standards : All About Love (1996), Mathis on Broadway (2000). En 2008 sort A Night to Remember.
Johnny Mathis a obtenu quatre Grammy Awards dont un pour l'ensemble de sa carrière en 2003.
