Її батько Денфорт займається вантажоперевезеннями, мати Маргарет — домогосподарка. Навчалась у середній школі Карузі та у старшій школі Черрі-Гілл.
Коли їй було 13 років, її побачив на вулиці модельний агент і запропонував знятися в рекламі баскетбольної команди «Філадельфія Філліз», а пізніше вона підписала контракт з агентством Ford models у Нью-Йорку. Працюючи моделлю в Італії, Лартер зустріла там акторку Емі Смарт і одразу з нею подружилася. Смарт переконала Елі зайнятися акторством; вони разом перебралися до Лос-Анджелесу, оселившись в одній квартирі.
