Miller wurde 1933 in Massachusetts als Sohn des Buchhalters Ellis Warren Appleton Miller (1898–1986) und der Hausfrau Sophia June Squarebriggs (1899–1998) geboren.[1] Sein Studium an der Cornell University schloss er 1955 mit einem Bachelor of Science in Hotel Administration ab. Nach seinem Studium arbeitete er im Ritz Hotel in Barcelona, wo er den Cornell-Alumni Chuck Feeney kennenlernte.[2]
Gemeinsam mit Feeney begann er in den 1950er Jahren in Asien nach dem neu aufkommenden Konzept des Duty-free-Shopping Autos, Parfüm und Schmuck an US-Soldaten und Touristen zu verkaufen.[3] Später stiegen der Steueranwalt Tony Pilaro und der Buchhalter Alan Parker als Partner in das Unternehmen ein, um es professioneller aufzustellen.[3] 1960 wurde das Handelsunternehmen Duty Free Shoppers gegründet.[4] Aus dem Unternehmen ging die international tätige DFS Group hervor. Bereits vier Jahre danach hatten sie 200 Angestellte in 27 Ländern. Beflügelt vor allem von der rasanten wirtschaftlichen Entwicklung Japans und den damit einhergehenden stark ansteigenden Tourismus-Zahlen im pazifischen Raum entwickelte sich DFS zu einem der profitabelsten Einzelhandelsunternehmen. Miller und Feeney wurden durch die erfolgreiche Unternehmung beide zu Milliardären. Sie investierten in Hotels, Einzelhändler, Textilunternehmen und später auch in Technologie-Startups.[3]
1997 verkauften Feeney, Pilaro und Parker ihre Anteile an der DFS Group an das Luxusgüterunternehmen LVMH für 2,47 Milliarden US-Dollar.[3][5] Miller lehnte den Verkauf seines Anteils ab und blieb Großaktionär der DFS.[6]
Mit seiner MegayachtMari-Cha IV unterbot Miller am 9. Oktober 2003 mit 6 Tagen, 17 Stunden, 52 Minuten und 39 Sekunden den bisherigen Rekord für die schnellste West-Ost-Atlanktiküberquerung für Einrumpfboote um mehr als zwei Tage, und stellte dabei zugleich mit 525,5 Seemeilen einen neuen 24-Stunden-Rekord für solche Schiffe auf.[7][8] Dieser Transatlantik-Rekord wurde erst im Jahr 2016 von der Yacht Comanche geschlagen.[9]
Miller lebt seit den 1960er Jahren in Hongkong. Er ist seit 1965 mit der aus Ecuador stammenden María Clara „Chantal“ Pesantes Becerra (* 1940) verheiratet.[1] Aus der Ehe gingen die drei Töchter Pia (* 1966), Marie-Chantal (* 1968) und Alexandra (* 1972) hervor.[1]