Era nato in una famiglia ebraica. Suo padre, Jacob Cassel, possedeva una piccola banca, e di sua moglie, Amalia Rosenheim.
Ernest arrivò senza un soldo a Liverpool, nel 1869, dove trovò impiego presso una ditta di mercanti di grano. Grazie alla sua caparbietà e un naturale senso degli affari, arrivò a Parigi, dove lavorò per una banca. La guerra franco-prussiana lo costrinse a trasferirsi a lavorare in una banca di Londra, essendo nato in Prussia.
Ben presto la sua fortuna prosperò. Le sue aree di interesse erano nel settore minerario, delle infrastrutture e nell'industria pesante.
Si convertì al cattolicesimo per volere della moglie. Nel 1910 si ritirò.
Possedette una famosa collezione d'arte e tante belle case. Allevava cavalli da corsa. Dopo la prematura morte della moglie Annette, la sorella vedova Wilhelmina (nota come Bobbie) allevò sua figlia, insieme ai suoi figli. La sua unica figlia, Mary, morì molto giovane, lasciandolo due nipotine per il quale stravedeva, soprattutto la maggiore, Edwina, che si occupò di lui nella sua vecchiaia. In seguito avrebbe sposato lord Louis Mountbatten.
Nel 1919 fondò il Cassel Hospital, vicino a Richmond. L'ospedale è una comunità terapeutica per i pazienti di salute mentale.
Morì a Brook House, Park Lane, Londra il 21 settembre 1921. Lui e sua moglie furono sepolti nel cimitero di Kensal Green, a Londra.
Vita privata
Nel 1878 sposò Annette Mary Maud Maxwell[2]. Ebbero una figlia: