Carl Adolf von Sydow gazdag lundi családban született a svédországiSkånéban. Apja, Carl Wilhelm von Sydow etnológus volt, az ír, skandináv és összehasonlító néprajz professzora a Lundi Egyetemen. Anyja, Greta (született Rappe) tanító volt.[13] Von Sydow lutheránusként nevelkedett, de később agnosztikussá vált.[14][15] Gyermekkoráról keveset tudni, kivéve hogy szégyenlős, csendes egyke volt.
A lundi Katedrális iskolába (Katedralskolan) járt, kilencéves korától németül és angolul tanult. Az iskolában pár baráttal amatőr színtársulatot alapítottak – itt kezdődött színészi pályája. A stockholmi Királyi Drámaszínházban tanult 1948 és 1951 között, olyan későbbi színészekkel együtt, mint Lars Ekborg, Margaretha Krook és Ingrid Thulin. Még tanult, amikor a filmvásznon már bemutatkozott, Alf SjöbergCsak egy anya (1949), illetve Miss Julie (1951) című filmjeiben (az utóbbi August Strindberg darabjának filmváltozata volt).
Pályája
1955-ben von Sydow Malmőbe költözött és itt találkozott Ingmar Bergmannal. Első közös munkájuk színhelye a Malmői Önkormányzati Színház volt. Később olyan Bergman-filmekben szerepelt, mint A hetedik pecsét (1957), A nap vége (1957), a Szűzforrás (1960). A hetedik pecsét című filmben ő alakította a lovagot, aki sakkozik a halállal, hogy időt nyerjen társai számára. Ez a film Von Sydow és Bergman számára is áttörést hozott: Von Sydow számára ezzel több mint fél évszázados filmkarrier indult el.
Tehetségét gyorsan elismerték, már 1954-ben a Királyi Alapítvány Kulturális Díját vehette át. Rengeteget dolgozott színpadon és filmen is Skandináviában, ellenállva az Amerikai Egyesült Államokból, Hollywoodból egyre nagyobb számban érkező meghívásoknak. Szerepelt Bergman Oscar-díjas filmjeiben. Először őt választották az első James Bond-film, a Dr. No címszerepére, de végül Joseph Wiseman játszotta el a szerepet. Végül mégis engedett az amerikai hívásoknak, hogy eljátssza Jézus szerepét az 1965-ben bemutatott A világ legszebb története című filmben. Mivel több más hollywoodi produkcióban is alkalmazni akarták, családjával együtt Los Angelesbe költözött.
1951. augusztus 1-jén Von Sydow feleségül vette Kerstin Olin színésznőt. Két gyermekük született, Clas S. von Sydow és Henrik von Sydow. Fiai vele együtt megjelentek a Hawaii című filmben, a fiát játszva más-más életkorban.
1996-ban elvált és 1997. április 30-ánCatherine Brelet francia filmrendezőnőt vette feleségül Provence-ban. Két gyermekük született, Yvan és Cedric. Von Sydow utolsó éveit feleségével élte Párizsban, élvezve az olvasást, a zenehallgatást és a kertészkedést. Kijelentette, hogy nem tér vissza színészként, amíg jó szerepet nem kap. 2002-ben francia állampolgárságot kapott, ekkor le kellett mondania svéd állampolgárságáról.