En 1834, les parents de Sissi (le duc Maximilien en Bavière et son épouse la princesse Ludovica de Bavière, fille du roi Maximilien Ier de Bavière) achètent le château au bord du lac dans un vaste domaine forestier, à titre de résidence d'été, qu'ils font agrandir et rénover. Sissi y passe son enfance avec ses neuf frères et sœurs, entre leur palais du duc Max de Munich (Herzog Max Palais) et ce palais d'été.
Le château délabré est racheté et rénové en 1981, puis en 1998 par des promoteurs privés, et transformé en logements privés. Le parc de deux hectares entre le château et le lac est aménagé en parc public
Musée
En 1998, le musée de l'impératrice Elisabeth de Wittelsbach est établi dans l'ancien salon impérial historique de la gare de Possenhofen, construit en 1865 sous le règne du roi Louis II de Bavière, avec l'exposition d'une collection privée de nombreux objets (photos, cartes postales, documents authentiques...) de l'impératrice, de sa famille, et du roi Louis II[3]. Un chemin touristique « Elisabeth Weg » mène en 10 minutes au château de Possenhofen, et à l’Ile aux Roses (Roseninsel), où Sissi et son cousin le roi Louis II aimaient se retrouver[4].
(de) Gerhard Schober : Schlösser im Fünfseenland – Bayerische Adelssitze rund um den Starnberger See. Oreos Verlag, 2005, (ISBN3-923657-83-8), S. 204–225.