Ashikaga Kuniuji, cháu trai của Ashikaga Yoshiuji, định cư vào thế kỷ 13 ở Imagawa (tỉnh Mikawa) và lấy đó làm tên mình.
Imagawa Norikuni (1295-1384) nhận từ người anh em họ mình là shogun Ashikaga Takauji tỉnh Totomi, và sau đó là Suruga.
Sau cái chết của Yoshimoto tại trận Okehazama năm 1560, rất nhiều thuộc hạ của gia đình Imagawa về đầu quân cho các gia tộc khác. Trong vòng một thập kỷ, gia tộc đã mất tất cả đất đai của mình vào tay gia tộc Tokugawa và gia tộc Takeda. Sau đó, nhà Imagawa trở thành người tổ chức các nghi lễ cho gia tộc Tokugawa[cần dẫn nguồn].
