Quatrième fils d'Inoue Masaharu, daimyō du domaine de Tatebayashi, Inoue Masanao naît avant que son père soit transféré à Hamamatsu. Il hérite de la direction du clan Inoue et de la position de daimyō du domaine de Hamamatsu à la mort de son père en 1847. En 1851, il reçoit le 5e rang inférieur de cour et le titre de courtoisie de Kawachi-no-kami.
Il intègre l'administration du shogunat Tokugawa au cours du bakumatsu, d'abord comme sōshaban (maître des cérémonies) en 1858, comme jisha-bugyō en 1861 puis comme rōjū (conseiller ancien) en 1862 auprès du shogunTokugawa Ienari. Son rang de cour est élevé en conséquence à 4e inférieur. En 1863-1864, il participe aux discussions à l'intérieur du château d'Edo sur la fin de la politique d'isolement national du Japon et à la signature des traités inégaux avec les puissances occidentales. Déchu de sa fonction de rōjū le , il est réintégré dans ce poste le . En 1866, il participe à la seconde expédition de Chōshū sous le commandement de Tokugawa Yoshinobu, représentant du shogun à Kyoto. Il démissionne de nouveau le .
En 1868, en dépit de son expérience en tant que fudai daimyo et ancien rōjū, il se range du côté des forces impériales lors de la guerre de Boshin durant la restauration de Meiji. En , le shogun Tokugawa Yoshinobu est contraint de démissionner de ses fonctions et le clan Tokugawa sous la nouvelle direction de Tokugawa Iesada se voit accorder les provinces de Suruga, Tōtōmi et une partie de la province de Mikawa en compensation. Le clan Inoue est réaffecté à un nouveau domaine sis dans la province de Kazusa, le domaine de Tsurumai d'une valeur estimée à 60 000 koku en septembre de la même année. En 1869, Inoue Masaharu devient gouverneur du domaine de Tsurumai sous le gouvernement de Meiji. L'abolition du système han en 1871 entraîne la disparition du domaine cette même année. Après la mise en place du nouveau système de pairie (kazoku), il est fait vicomte (shishaku). Il est plus tard étudiant de C. Carrothers au Keio Gijuku à Tokyo.
Inoue Masaharu est marié à une fille de Matsudaira Tadakata, daimyō du domaine d'Ueda. Il est remplacé à la tête du clan Inoue par son quatrième fils, Inoue Masanao. Sa tombe se trouve au cimetière Somei dans l'arrondissement de Toshima à Tokyo.
Edmond Papinot, Dictionnaire d'histoire et de géographie du Japon, Tokyo, Librairie Sansaisha, . « Nobiliaire du Japon » [PDF], sur www.unterstein.net (consulté le ).
