Nascut en 1839,[1] era fill de Francisco Agustín Silvela y Blanco i Luisa de Le Vielleuze, i germà dels polítics Francisco Silvela[3] i Manuel Silvela y de Le Vielleuze.[1] Es va casar amb Isabel Corral, amb la que va tenir sis fills: Eugenio, Agustín, Antonia, Luisa, María Eugenia i Pilar.[3]
Va ser col·laborador de la revista La España Moderna i d'altres publicacions periódiques.[2] Autor del projecte de Codi Penal en 1884, que presentaria a les Corts el seu germà Francisco,[8] va escriure obres com La familia foral y la familia castellana (1863), junt a Segismundo Moret;[9]El Derecho penal estudiado en principios y en la legislación vigente en España (1879-1884)[4][10][11][12] —de notable importància en les càtedres espanyoles, segons la premsa de l'època—[13] o El Código penal y sentido común, a més d'un estudi de Jeremy Bentham.[4] Va morir a Madrid el 2 de maig de 1903,[2] i fou enterrat a la Sacramental de San Isidro.[14]