Non è ben chiaro come Spencer-Smith si sia unito alla spedizione. Una versione dice che voleva arruolarsi nell'esercito in previsione dello scoppio della guerra, ma la sua qualifica di sacerdote lo avrebbe escluso dalle missioni di combattimento. Si offrì allora volontario a Ernest Shackleton in sostituzione di un membro originario della spedizione richiamato in servizio [3]. Poco dopo l'arrivo in Antartide una tempesta rompe gli ormeggi dell'Aurora lasciando Spencer-Smith con altri nove compagni isolati sul continente antartico. Decisi comunque a portare a termine la loro missione di costruire alcuni depositi di provviste per Ernest Shackleton che credevano in arrivo dall'altro lato del continente, Spencer-Smith si trova subito a disagio per il clima polare cui non era abituato, tale limitazione diviene subito evidente al comandante della spedizione, Æneas Mackintosh, che cerca di non farlo sforzare troppo [4]. Durante il 1915 Spencer-Smith lavorerà dunque nella base di capo Evans, spesso nella camera oscura dove talvolta celebrerà anche la messa[5].
La scarsità di uomini costringe comunque Mackintosh ad inserire Spencer-Smith nel gruppo di uomini che ha il compito di costruire i deposito lungo il ghiacciaio Beardmore. Durante il percorso Spencer-Smith collassa nei pressi della scogliera Minna e deve essere portato in slitta dai compagni[6]. Il gruppo riesce comunque a completare la costruzione dei rifugi, ma il peggioramento delle condizioni meteorologiche ed il sopraggiungere dello scorbuto acuiscono le difficoltà. Spencer-Smith non si lamenta, ma talvolta delira[7]. Muore lungo la barriera di Ross il 9 marzo 1916 all'età di 32 anni. Viene sepolto nel ghiaccio[8]. Due giorni dopo il gruppo raggiunge Hut Point.