Ved dannelsen af ministeriet Hørring i 1897 blev han indenrigsminister og fik under sin embedsperiode markante politiske resultater igennem – blandt andet Ulykkesforsikringsloven (1898), som fik sikret arbejdere imod ulykkestilfælde, Lov om kommuners ophøjelse til købstæder (som bl.a. angik Esbjerg), Lov om erhvervelse og fortabelse af indfødsret og 1899 et tillæg til Frihavnsloven. Han gennemførte også Lov om erstatningsansvar for skade ved jernbanedrift, som var en udløber af Gentofte-ulykken i 1897, men til gengæld strandede hans forslag om anlæggelse af jernbaner og færgeruter, således et om en dampfærgeforbindelse mellem Gedser-Warnemünde. Han tog i august 1899 sin afsked og blev erstattet af Ludvig Bramsen.
Amtmand igen
En måned efter, at han havde forladt ministerposten, blev han udnævnt til amtmand i Vejle, hvilket han var helt til 1921.
Tillidshverv
I en lang årrække var Bardenfleth medlem af bestyrelsen for Det danske Hedeselskab. Han var også formand for de henholdsvis 1909 og 1911 af Kirke- og Undervisningsministeriet nedsatte kommissioner ang. Folkeskolens tilsyn m.v. og angående Københavns skolevæsens tilsyn m.v., ligesom han var formand for Det kirkelige Udvalg af 1921.
Han blev i Jylland efter sin pensionering, men i 1932 flyttede han til hovedstaden, hvor han døde allerede året efter. Vilhelm Bardenfleth er begravet på Frederiksberg Ældre Kirkegård.
Hæder
Bardenfleth blev Ridder af Dannebrogordenen 1894, Kommandør af 2. grad 1896, Kommandør af 1. grad 1899 og modtog Storkorset i 1920. Han blev kammerherre i 1911.
