Khi Yemen còn chia tách làm hai nước Bắc Yemen và Nam Yemen trước năm 1990, mỗi quốc gia có một đội tuyển bóng đá riêng. Đội tuyển Yemen sau khi hai nước hợp nhất được coi là kế tục của Đội tuyển bóng đá quốc gia Bắc Yemen.
Yemen (hoặc Bắc Yemen trước kia) chưa từng lọt vào một vòng chung kết Giải bóng đá vô địch thế giới. Tại Cúp bóng đá châu Á chỉ có Nam Yemen từng lọt vào một vòng chung kết vào năm 1976. Họ dừng bước ở vòng bảng khi thua cả hai trận trước Iran và Iraq.
Đội tuyển Yemen thống nhất thi đấu trận quốc tế đầu tiên gặp Malaysia vào năm 1990. Thành tích tốt nhất của đội cho đến nay là vị trí thứ ba của giải vô địch bóng đá Tây Á 2010. Đội đã một lần tham dự Asian Cup năm 2019 và toàn thua ba trận trước Iran, Iraq và Việt Nam, do đó dừng bước ở vòng bảng.
