Nazwa parku, podobnie jak ulicy Książęcej (dawniej ul. Na Książęcem), pochodzi od księcia podkomorzego koronnegoKazimierza Poniatowskiego, który był właścicielem dwóch ogrodów: Na Książęcem (po północnej stronie wąwozu rzeki Żurawki, Książęcej) i Na Górze (po stronie południowej).
Park został założony dla Kazimierza Poniatowskiego w latach 1776–1779 według projektu Szymona Bogumiła Zuga jako rezydencjonalny ogród o charakterze sentymentalnym. Składał się z dwóch części: geometrycznej z główną aleją i tarasami na skarpie oraz dzikiej z promenadą i stawem z wyspą. Na terenie ogrodu wzniesiono m.in. Domek Imama, minaret i pawilon chiński. W skarpie powstały podziemne korytarze i groty (Elizeum), częściowo zachowane do dziś.