Der Bau des Palastes wurde 1846 begonnen. In dem Gebäude befand sich die Residenz des Gouverneurs von Kaunas. Während des Ersten Weltkriegs wurde es zeitweise vom deutschen Kaiser und der deutschen Militärverwaltung bewohnt.
In den Zwischenkriegsjahren von 1919 bis 1940 residierten und lebten im Palast die drei litauischen PräsidentenAntanas Smetona, Aleksandras Stulginskis und Kazys Grinius[1]. Hier fand am 15. Oktober 1940 das letzte Treffen der Regierung der Republik Litauen vor Beginn der Besetzung des Landes durch die Sowjetunion statt.
Während der Sowjetzeit befand sich in dem Gebäude der Pionierpalast, ab 1955 das Lehrerhaus. Der Palast beherbergte ein Kino und eine Bibliothek. Das Gebäude wurde 1989 dem Vytautas-Kriegsmuseum übergeben. Die historischen Räume können besichtigt werden, daneben finden wechselnde Ausstellungen statt.