Cette petite place, ce carrefour, a été très longtemps appelée « carrefour de l'Orme » ou « carrefour de l'Orme-Saint-Gervais ». Il était autrefois un usage général de planter un orme, protégé par une chaîne, devant la grande porte des églises. Après la messe, on se réunissait à l'ombre de cet arbre, les juges y rendaient la justice et l'on y acquittait les rentes. Cet arbre, appelé « orme Saint-Gervais », était entretenu par la fabrique de Saint-Gervais, il servait également de point de rencontre et plusieurs peintures et gravures en gardent témoignage, ainsi que des représentations de cet orme sur les stalles à l'intérieur de l'église et sur des bâtiments voisins.
Dans un compte de 1443, il est fait mention de quelques vignes et morceaux de terre appartenant au duc de Guyenne ; en raison de son hôtel situé près de la Bastille, les fermiers étaient obligés d'en payer la rente à l'orme Saint-Gervais à Paris, le jour de Saint-Rémi et à la Saint-Martin d'hiver.
Vers 1790, l'arbre est arraché pour agrandir et débarrasser la place ; il servit à la construction d'affûts de canons.
D'abord limitée à l'espace immédiatement devant l'église, elle a été agrandie en 1850-1854 pour être perpendiculaire à la rue de Lobau (l'axe de la place est donc décalé par rapport à celui de l'église). Des casernes la bordent depuis les travaux du préfet Haussmann : au nord la caserne Napoléon (datant de 1853, occupée d'abord par la Garde puis maintenant par la Direction générale de l'information de la ville de Paris) et, au sud, la caserne Lobau (maintenant occupée par la Direction des ressources humaines de la ville de Paris), reliées par souterrain à l'Hôtel de Ville.
Baptisée « place Saint-Gervais » depuis le , elle était auparavant englobée dans la rue François-Miron, nommée avant 1838 « rue du Monceau-Saint-Gervais ».
Jacques Hillairet, Connaissance du vieux Paris : rive droite, rive gauche, les îles & les villages, Paris, éditions Payot & Rivages, (1re éd. 1956), 377-299-255, 3 t. en 1 vol. (ISBN978-2-86930-648-6).