Auf dem Pfingstberg befindet sich neben dem Belvedere auch der Pomonatempel (1801), das erste Bauwerk des damals erst neunzehnjährigen Karl Friedrich Schinkel.
Nach dem Zweiten Weltkrieg verfiel das Aussichtsschloss zur Ruine, und der Park verwilderte zunehmend. Seit Ende der 1980er Jahre bemüht sich ein Verein um die Wiederherstellung der Anlage. Mit Unterstützung der Stiftung Preußische Schlösser und Gärten Berlin-Brandenburg und durch großzügige Spenden konnten Park und Schloss bis 2003 weitgehend restauriert und rekonstruiert werden.
Namensgebung
In einer Karte von 1683 findet sich noch die Bezeichnung Eichberg. Dieser war ein Stadtwald, dem die Bevölkerung kostenfrei Holz für den Hausbau entnehmen durfte. Nach der Anlage des jüdischen Friedhofs am südlichen Hang wurde der Eichberg 1743 in Judenberg umbenannt.
Die dritte Namensgebung erfolgte nach dem Ankauf eines Grundstücks mit einem Pavillon, dem Pomonatempel, durch König Friedrich Wilhelm III. im Jahr 1817. Von da an trug die Anhöhe den heutigen Namen Pfingstberg.
Das Gelände gehörte dem Geheimen Rat Carl Ludwig von Oesfeld, bei dem Königin Luise Pfingsten 1804 gespeist haben soll. Nach dem angenehmen Aufenthalt auf dem Weinberg, so wird berichtet, habe die Königin die Umbenennung des Berges vorgeschlagen. Friedrich Wilhelm III. soll daraufhin 1817 – zum Andenken an seine 1810 verstorbene Gemahlin – die Namensänderung vorgenommen haben. Eine zweite Version lautet, ein Besuch des Königs auf der Anhöhe zu Pfingsten 1817 sei der Grund der Änderung gewesen.