De eerste film waarvoor hij filmde was Back to God's Country (1919), een Canadese film die werd geschoten vlak bij de noordpoolcirkel. Hij werkte vervolgens voor een groot aantal regisseurs, zoals W.S. Van Dyke, Francis Ford en George B. Seitz, voordat hij een contract kreeg bij Columbia Pictures in 1927. Hij heeft tot zijn pensioen in 1952 vrijwel uitsluitend voor deze filmstudio blijven werken.[1] Joseph Walker werkte onder andere aan twintig films van Frank Capra.
Joseph Walker werd viermaal genomineerd voor de Oscar voor Beste Camerawerk. Hij heeft twintig patenten staan op uitvindingen op het gebied van filmen,[2] zoals op het Double Exposure System en een aantal zoomlenzen.[1] Hierom was hij in 1982 de eerste ontvanger van de Gordon E. Sawyer Award, een prijs die de Academy of Motion Picture Arts and Sciences uitreikt aan diegenen die een nuttige technologische bijdrage leverde aan de filmindustrie.[2]