Galerinin yer aldığı üstten aydınlatmalı beşik tonozlu salon, mimar Carlo Rossi tarafından tasarlandı ve Haziran-Kasım 1826 arasında inşa edildi. Kışlık Saray'ın ana bloğunun ortasındaki birkaç küçük odanın yerine yapılmıştır. Beyaz Taht Salonu ile Büyük Taht Salonu arasında, saray kilisesinden sadece birkaç adım ötede yer almaktadır. Galeri 25 Aralık 1826'da büyük bir törenle açılmıştır.[2][3]
Tamamlanmasından on yıldan kısa bir süre sonra, 1837'de bir yangına maruz kalmıştır. Yangının yavaş ilerlemesi sayesinde Dawe'nin portreleri alevlerden kurtarıldı. Mimar Vasily Stasov, salonu daha önce olduğu gibi yeniden yarattı.
Nicholas Süvari Okulu'nun askerî öğrencisi olan Vladimir Littauer, 1912'de Askerî Galeri'de gece bekçisi olarak görevlendirildi. Deneyimini bir portre kümesinin üzerinde yalnızca tek bir ampulle aydınlatılan "büyük salon" daki ürkütücü bir gece olarak tanımlamıştır. Tek nöbetçinin yalnızlık duygusunu, yedek muhafız galeriye gelmeden önce koridorlarda ayak seslerinin duyması ile ancak giderebileceğini vurguladı.[4]
Sovyet döneminde koleksiyon, 1812 Vatanseverlik Savaşı gazilerinden oluşturulan özel tören birimi olan Palace Grenadiers'ın 1827'de yapılan dört portresi ile zenginleştirildi. Portreler ayrıca 1828'de George Dawe tarafından boyandı. Daha yakın zamanda, galeri Peter von Hess'in 1840'lardan iki tablosunu kolleksiyonuna kattı.