Mortimer inizia la sua carriera nelle giovanili del Coventry City, arrivando a disputare più di 200 partite con la prima squadra nel ruolo di centrocampista. Qui attrae l'attenzione dell'Aston Villa, che lo acquista nel 1975 per 175.000 sterline.[1]
Ha guidato i suoi alla vittoria della First Division 1980-1981, la prima da più di 70 anni, e alla vittoria della Coppa dei Campioni 1981-1982 ai danni del Bayern Monaco. Aneddoto curioso: dopo la vittoria ha scambiato la maglia con un giocatore del Bayern, e da allora cerca di riottenerla.[2] Ha totalizzato 406 presenze con l'Aston Villa segnando 36 reti.