Watson nació en Houston, Texas. Su padre, John Sr., era pianista y le enseñó el instrumento a su hijo. Pero el joven Watson se sintió inmediatamente atraído por el sonido de la guitarra, en particular la guitarra eléctrica interpretada por T-Bone Walker y Clarence "Gatemouth" Brown.
Su abuelo, un predicador, también fue músico. Cuando Johnny tenía 11 años, su abuelo se ofreció a darle una guitarra si, y solo si, el niño no tocaba nada de la "música del diablo". Watson estuvo de acuerdo, pero "eso fue lo primero que hizo". Watson tocó con los músicos de blues de Texas, Albert Collins y Johnny Copeland. Sus padres se separaron en 1950, cuando él tenía 15 años. Su madre se mudó a Los Ángeles y se llevó a Watson con ella.
En su nueva ciudad, Watson ganó varios shows de talentos locales. Esto lo llevó a ser empleado, aunque aún era un adolescente, con bandas estilo jump blues como Chuck Higgins's Mellotones and Amos Milburn. Trabajó como vocalista, pianista y guitarrista. Rápidamente se hizo un nombre por sí mismo en las bodegas afroamericanas de la costa oeste, donde grabó por primera vez para Federal Records en 1952. Fue considerado como el joven John Watson hasta 1954. Ese año, vio a Joan Crawford, en la película Johnny Guitar, y un nuevo nombre artístico nació.
Watson tenia una personalidad arrogante, pero humorística, con gusto por la ropa llamativa y el espectáculo salvaje en el escenario. Su estilo de "ataque" de tocar, sin una púa, le dio a menudo la necesidad de cambiar las cuerdas de su guitarra una o dos veces por programa, porque "las enfatizó" tanto, como dijo. El feroz tema de "Space Guitar" de Watson de 1954 fue pionero en la respuesta y reverberación de la guitarra. Watson influiría más tarde en una generación posterior de guitarristas. Su canción "Gangster of Love" se lanzó por primera vez en Keen Records en 1957. No apareció en las listas de éxitos en ese momento, pero luego se volvió a grabar y se convirtió en un éxito en 1978, convirtiéndose en el de Watson.
Realizó una gira y grabó con su amigo Larry Williams, así como con Little Richard, Don y Dewey, The Olympics, Johnny Otis y, a mediados de la década de 1970 con David Axelrod. También jugó con Sam Cooke, Herb Alpert y George Duke. Pero a medida que disminuía la popularidad del blues y la era de la música soul en la década de 1960, Watson se transformó de cantante de blues sureño con copete, a cantante de soul urbano con un pimp hat. Su nuevo estilo era enfático: los dientes de oro, los sombreros de ala ancha, los trajes llamativos, las gafas de sol de gran tamaño y las joyas ostentosas lo convertían en una de las figuras más coloridas de la escena funk de la costa oeste.
Modificó su música en consecuencia. Sus álbumes Ain't That a Bitch (de donde se tomaron los exitosos singles "Superman Lover" y "I Need It") y "Real Mother For" ya fueron grabaciones históricas del funk de los 70.
La muerte a tiros de su amigo Larry Williams en 1980 y otros contratiempos personales llevaron a Watson a retirarse brevemente del centro de atención en la década de 1980. "Me encontré con las personas equivocadas que hacen las cosas incorrectas", dijo Watson para The New York Times.
El lanzamiento de su álbum Bow Wow en 1994 le dio a Watson más visibilidad y éxito en las listas de lo que nunca había conocido. El álbum recibió una nominación al premio Grammy.
En 1995, recibió un Premio Pioneer de la Fundación Rhythm and Blues, en una ceremonia de presentación en el Hollywood Palladium. En febrero de 1995, Watson fue entrevistado por Tomcat Mahoney para su programa de radio de blues The Other Half, con sede en Brooklyn, Nueva York. Watson discutió largamente sus influencias de él con Mahoney, refiriéndose a Guitar Slim, Jimi Hendrix, Frank Zappa y Stevie Ray Vaughan. Hizo una aparición especial como invitado en el álbum de 1996 de Bo Diddley, "A Man Amongst Men", en la pista "I Can't Stand It" y cantando en la pista "Bo Diddley Is Crazy".
Watson murió de un ataque al corazón en el escenario, el 17 de mayo de 1996, mientras estaba de gira en Yokohama, Japón.
