أول شواهد على العلاقات تعود لفترة قديمة من تاريخ الشعبين، عندما أقام تجار من مملكة سبأ مستعمرة تجارية بشمال إثيوبيا حالياً ونقل هولاء التجار نظام الكتابة اليمني القديم (خط المسند) لتلك المناطق. كما أن أسطورة ملكة سبأ المذكورة في الكتب المقدسة لأتباع الأديان الإبراهيمية، تعد أسطورة مشتركة بين الشعبين. وفي القرن السادس الميلادي، دخلت مملكة أكسوماليمن لمناصرة المسيحيين ضد أعدائهم اليهود في تلك الفترة. وطيلة تاريخ مابعد الإسلام، تبادل حكام البلدين البعثات الرسمية وتشهد المناطق الساحلية الغربية لليمن تأثيراً إثيوبيا واضحاً على السكان لقرون من التزاوج والهجرات المتبادلة بين سكان الضفتين. في عهد الدولة القاسمية في القرن السابع عشر الميلادي، تبادل البلدان البعثات الدبلوماسية بين الإمام المتوكل على الله إسماعيل والإمبراطور فاسيليداس أريد لها أن تتحول لحلف إستراتيجي لولا ظهور إقطاعيين أقوياء في إثيوبيا قوضوا الأمن داخل الإمبراطورية كثيراً.