Quandt wurde im Alter von sechs Jahren zum Halbwaisen und trat mit 16 in die Tuchfabrik der Gebrüder Draeger in Pritzwalk ein. Nach seiner Heirat 1880 mit Hedwig Draeger (* 12. Mai 1855; † 1933), der Tochter des Tuchfabrikanten Johann Friedrich Ludwig Draeger, konnte er von deren jüngerem Bruder die Pritzwalker Tuchfabrik erwerben. 1900 übernahm er auch die Wittstocker Tuchfabrik Wegener und begründete mit diesen Fabriken die Industriedynastie der Familie Quandt.
Emil Quandt war der Vater von Günther Quandt. Außerdem hatte er noch die Söhne Werner und Gerhard, und die Töchter Edith[3] und Annaliese[4].