Chiếc máy bay được Nakajima thiết kế nhằm đáp ứng một yêu cầu đưa ra vào năm 1931 về một kiểu máy bay trinh sát tính năng cao, đồng thời có thể sử dụng cho vai trò tấn công hỗ trợ gần mặt đất hạng nhẹ. Sau khi đánh giá những kiểu máy bay từ Châu Âu và Hoa Kỳ, Không lực Lục quân Đế quốc Nhật Bản đã chọn một thiết kế mới của hãng Nakajima nội địa. Chiếc nguyên mẫu được bay thử nghiệm vào năm 1934.
Nakajima Ki-4 là một kiểu thiết kế cánh kép với hai cánh lệch và bộ càng đáp cố định. Nó được trang bị động cơ Nakajima Ha-8 9 xy lanh bố trí hình tròn làm mát bằng gió công suất 640 mã lực (477 kW). Tốc độ tối đa đạt được là 300 km/h và trọng lượng cất cánh tối đa lên đến 2.500 kg. Nó được trang bị cho đến bốn súng máy 7,7 mm bao gồm hai khẩu gắn cố định trước mũi bắn hướng ra trước đồng bộ với cánh quạt, và một hoặc hai khẩu gắn di động trên lưng. Tải trọng bom tối đa là 50 kg.
Những chiếc Ki-4 bắt đầu được trang bị cho những đơn vị không lực của Lục quân Đế quốc Nhật Bản vào năm 1935 và đảm nhận vai trò tích cực trong các phi đội chiến đấu trong những năm sau đó. Chúng tham gia hoạt động trong giai đoạn đầu của cuộc Chiến tranh Trung-Nhật mà Nhật Bản can dự vào năm 1938. Chúng cũng hoạt động như là máy bay tấn công gần mặt đất hạng nhẹ hỗ trợ cho việc tấn công của các đơn vị Nhật Bản trên mặt đất. Tuy nhiên, những chiếc máy bay cánh kép cũ kỹ này khá mong manh ngay cả trước những chiếc máy bay tiêm kích cũ nhất và bay chậm nhất của đối phương. Cho đến lúc Nhật Bản tham gia Thế Chiến II, những chiếc Ki-4 đã hoàn toàn lạc hậu. Một số chiếc khả dụng được giao các vai trò tiếp vận và liên lạc từ năm 1941, và một số khác được chuyển cho Không quân Mãn Châu Quốc. Những chiếc không bị mất trong hoạt động được sử dụng một thời gian ngắn làm máy bay huấn luyện cơ bản hay mục tiêu giả kéo theo trước khi bị tháo dỡ. Mọi chiếc Ki-4 biến mất vào năm 1943.
Hai chiếc Ki-4 từng được thử nghiệm như là thủy phi cơ: một chiếc với phao kép, còn chiếc kia với một phao chính và hai phao ổn định hai bên. Cả hai đều không được đưa vào sản xuất.
