Pada tahun 2009, anggota pendiri sekaligus gitaris Ryan Ross dan bassis Jon Walker memutuskan keluar dari grup, sehingga menyisakan Smith dan vokalis Brendon Urie sebagai anggota resmi grup ini.[7][8] Smith mengerjakan album studio ketiga Panic! at the Disco, Vices & Virtuesbersama Brendon Urie, yang dirilis pada Maret 2011. Sebelum perilisan Vices & Virtues, Smith dan Urie ikut membintangi sebuah film pendek berdurasi tujuh menit berjud The Overture yang disutradarai oleh Shane Drake.[9] Film pendek tersebut ditujukan untuk dua mantan anggota Panic! at the Disco, gitaris Ryan Ross dan bassis Jon Walker.[9]
Pada sebuah wawancara bersama Blogcritics pada April 2011, Smith mengungkapkan rencana penambahan anggota baru untuk Panic! at the Disco.[8] Smith juga menyatakan bahwa menjalani tur merupakan bagian favoritnya dalam proses bermusik, meskipun hal tersebut tidak mungkin terjadi tanpa bekerja di studio rekaman.[8]
Pada 2 Agustus 2013, ia merilis sebuah surat terbuka untuk para penggemarnya, mengakui perjuangannya melawan kebiasaan narkoba dan alkoholnya selama empat tahun.[10] Pada 7 Agustus 2013, Brendon Urie mengumumkan melalui situs web resmi grup bahwa Spencer tidak akan lagi mengambil bagian dalam tur Panic! at the Disco.[11] Pada 2 April 2015, Spencer mengumumkan keputusannya untuk keluar dari Panic! at the Disco.[3]