Hij was de zoon van de kunstschilder en fotograafFranz Hanfstaengl, die aan het Beierse hof verbonden was als hofschilder en fotograaf. Edgar volgde een handelsopleiding in Stettin en bekwaamde zich vervolgens verder in het vak in Londen. In de jaren 60 van de negentiende eeuw begaf hij zich in de theehandel. Hij verbleef enkele jaren in Azië om in 1867 aan het werk te gaan als hoofdboekhouder in de kunsthandel van zijn vader.
In die tijd begon een verhouding met hertogin Sophie in Beieren, een zuster van de OostenrijksekeizerinElisabeth (Sisi). Sophie was op dat moment evenwel verloofd met de Beierse koning Lodewijk II maar deze voelde weinig voor een huwelijk en de verloving werd uiteindelijk verbroken. Tijdens die gehele periode hadden Edgar en Sophie een verhouding, die is gedocumenteerd door vijf nog overgebleven liefdesbrieven uit die tijd.
Tot een huwelijk tussen Edgar en Sophie kwam het evenmin omdat hij niet als geschikte levenspartner voor haar werd geacht. Sophie zou uiteindelijk trouwen met Ferdinand van Alençon-Orléans. Edgar trouwde met de Duitse Katharina Wilhelmina Heine en kreeg met haar vijf kinderen. Zijn enige dochter vond na zijn dood het pakketje liefdesbrieven. Daar stond op geschreven: "Brieven van Prinses Sofie Charlotte, ongelezen verbranden". Hanfstaengls dochter deed dat niet en gaf de brieven aan de schrijver Heinz Gebhardt, die ze uitgaf.
Edgar Hanfstaengl was de vader van Ernst Hanfstaengl, die aanvankelijk een vriend en medewerker van Adolf Hitler was, maar in 1937 naar Engeland vluchtte en vier jaar later politiek adviseur van president Roosevelt werd.
