Lord ist der zweite von drei Söhnen von Oswald Bates Lord (1903–1986) und dessen Frau Mary Stinson Pillsbury (1904–1978), einer Enkelin von Charles Stinson Pillsbury, dem Gründer der Pillsbury Company. Die Eltern hatten 1929 in Minneapolis geheiratet. Sein älterer Bruder Richard starb 1935 im Alter von drei Monaten. Sein jüngerer Bruder ist Charles Pillsbury Lord. Seine Mutter war von 1958 bis 1960 Delegierte bei der Generalversammlung der Vereinten Nationen und von 1953 bis 1961 Vertreterin der UN-Menschenrechtskommission (UN Human Rights Commission). Sie wurde zudem mit dem Freedom Award des International Rescue Committee ausgezeichnet. 1935 überlebte Mary Pillsbury Lord mit ihrer Schwester den Untergang des amerikanischen Passagierdampfers Mohawk, bei dem 47 Menschen ums Leben kamen.