Старший сын Эсме Стюарта, 1-го графа Марча и 3-го герцога Леннокса, и Кэтрин Клифтон, 2-й баронессы Клифтон.
30 июня 1624 года после смерти своего отца Эсме Стюарта Джеймс Стюарт унаследовал титулы герцога Леннокса, графа Леннокса и Марча. В 1633 году стал кавалером ордена Подвязки. В мае этого же года стал членом тайного совета Шотландии, а в июне тайного совета в Англии. В 1635—1646 годах занимал должность лорда-лейтенанта графства Гемпшир.
В 1637 году после смерти своей матери Кэтрин Клифтон, баронессы Клифтон, Джеймс Стюарт унаследовал титул барона Клифтона.
В 1641—1642 годах занимал должность лорда-хранителя пяти портов. 8 августа 1641 года Джеймс Стюарт получил титул герцога Ричмонда и стал пэром Англии. В 1643 году провёл пять месяцев в изгнании, затем вернулся в Англию, где принял участие на стороне роялистов в боях с парламентской армией под Оксфордом.
3 августа 1637 года женился на Мэри Вильерс (1622—1685), дочери Джорджа Вильерса (1592—1628), 1-го герцога Бекингема, и Кэтрин Мэннерс (? — 1649), 19-й баронессы де Рос. Их дети: