Devido ao boicote japonês nas Olimpíadas de Verão de 1980 em protesto contra a invasão soviética do Afeganistão em 1979, Yamashita foi forçado a assistir a esses Jogos como espectador enquanto seus rivais competiam no palco olímpico.
Yamashita ganharia mais três medalhas de ouro no Campeonato Mundial antes de se classificar para as Olimpíadas de 1984. Ele era o único competidor japonês de judô que havia se classificado para os Jogos Olímpicos de 1980 que também se classificou para as Olimpíadas de 1984.
Jogos Olímpicos de 1984
Em sua única aparição nas Olimpíadas, Yamashita machucou a panturrilha direita na luta preliminar contra Arthur Schnabel. Isso colocou Yamashita em uma enorme desvantagem, uma vez que ele executava seus arremessos girando em sua perna direita. Apesar de ter conseguido vencer a partida com um Okuri-Eri-Jime, a lesão fez com que ele visivelmente mancasse durante a luta das semifinais contra o fancês Laurent Del Colombo. Nesta luta, Yamashita foi arremessado ao chão com um Osoto Gari com apenas 30 segundos de luta, mas conseguiu retornar um Osoto Gari e venceu a partida com um Yoko-Shiho-Gatame. Com isso, ele se classificou para a final, contra o egípcio Mohamed Ali Rashwan. Yamashita venceria esta final e conquistaria a tão sonhada medalha de ouro, apesar de sua lesão. Esta luta foi marcada pelo Fair Play de Rashwan, que, sabendo da lesão de seu adversário, poupou a perna direita do japonês, não atacando-a diretamente. Por conta disso, Rashwan recebeu um prêmio do International Fairplay Committee[1].
Depois da Aposentadoria
Ele trabalha atualmente como instrutor ou consultor de numerosas organizações, incluindo a Universidade de Tokai, a Federação Internacional de Judô, e do All Japan Judo Federation. Aposentou-se do judô competitivo em 17 de junho de 1985, após uma carreira notável, onde ganhou cinco medalhas de ouro em competições internacionais e marcou 203 vitórias consecutivas (com 7 empates no meio), até sua aposentadoria. Ele recebeu o Prêmio Nacional de Honra Japonês em 9 de outubro de 1984.
