Després del seu servei militar a les Forces Aèries,[5] tornà a Nova York i ingressà a la famosa Juilliard School, una de les més prestigioses escoles de música dels Estats Units, amb alumnes tan famosos com Philip Glass i Itzhak Perlman, on rebé classes de piano de Rosina Lhevinne.[4] A Nova York treballà com a pianista de jazz.
L'any 1956 ingressava a la Twentieth Century Fox com a pianista en la seva orquestra d'estudi, tocant sota la direcció de Jerry Goldsmith i Elmer Bernstein entre d'altres. En aquest període, comença la seva primera experiència com a compositor per a populars espectacles de TV durant els anys 1960, incloent-hi Gilligan's Island, Wagon Train, i especialment Lost in Space i Land of the Giants per al productor Irwin Allen.[6]
El seu primer èxit a la pantalla gran arribava el 1967, quan era nominat a l'Oscar per la seva banda sonora per al drama de Mark RobsonValley of the Dolls. Des d'aquell moment, la carrera de Williams s'anà consolidant pel·lícula rere pel·lícula, catapultant-lo a la part superior de la jerarquia de la música de cinema, una posició des de la qual s'ha aguantat des de mitjans de la dècada del 1970.[7]
Els seus temes s'han introduït veritablement en el coneixement del públic d'una manera que pocs altres compositors han aconseguit. Ha atret talents clàssics com Itzhak Perlman, Yo-Yo Ma, Mark O'Connor i Christopher Parkening per a treballar amb ell en les seves bandes sonores, i fins i tot ha trobat temps per escriure peces clàssiques, música de concert per als Jocs Olímpics, i dirigeix orquestres a tot el món.
Jocs Olímpics
Com un dels més grans compositors contemporanis de Nord-amèrica, John Williams ha estat l'encarregat de compondre la música oficial en quatre edicions dels Jocs Olímpics celebrats en el seu continent: