Народився в селі Афімському Вологодської губернії в селянській родині. У 1916 році закінчив початкову сільську школу в місті Кадникові. У 1923 році там же закінчив школу 2-го ступеня, тоді ж вступив до комсомолу. У травні 1923 року обраний членом волосного виконкому та одночасно завідувачем хати-читальні в селі Покровському Кадниковської повітової політосвіти Вологодської губернії. З вересня 1923 року по серпень 1925 року працював головою Замошської сільської ради в Кадниковському повіті.
З 1925 року — в Червоній армії, з серпня 1925 року по серпень 1928 року курсант Ленінградської піхотної школи.
У серпні 1928 — січні 1931 року — командир артилерійського взводу 66-го стрілецького полку, артилерійського полку 22-ї стрілецької дивізії в Краснодарі Північно-Кавказького військового округу. З січня по вересень 1931 року — слухач Артилерійських курсів удосконалення командного складу (Ленінград). З вересня 1931 по березень 1934 року — командир топографічної батареї 9-го корпусного артилерійського полку Північно-Кавказького військового округу. З березня 1934 року по січень 1935 року — помічник начальника штабу, виконувач обов'язки начальника штабу артилерійського полку 24-ї стрілецької дивізії в Українському військовому окрузі.
У січні 1935 року направлений на навчання у Військово-інженерну академію, в травні 1936 переведений до Військової академії РСЧА імені Фрунзе, яку закінчив в січні 1939 року.
Після закінчення академії, в лютому 1939 року, направлений на службу в центральні органи Наркомату внутрішніх справ СРСР.
9 — 18 лютого 1939 року — заступник начальника, 18 лютого — 2 вересня 1939 року — начальник Головного управління робітничо-селянської міліції НКВС СРСР
Одночасно 29 липня — 2 вересня 1939 року — начальник II-го відділу ГУДБ НКВС СРСР, заступник начальник ГУДБ НКВС СРСР.
З 5 вересня 1939 по 25 лютого 1941 року — народний комісар внутрішніх справ Української РСР. Під керівництвом Сєрова органи НКВС продовжували чинити масові політичні репресії щодо українських вчених, митців, робітників і селян.
З 25 лютого по 30 липня 1941 року — 1-й заступник народного комісара державної безпекиСРСР. 31 липня 1941 — 24 лютого 1947 року — заступник народного комісара (міністра) внутрішніх справ СРСР.
У 1943–1944 Сєров керував операціями з депортаціїчеченців, волзьких німців, кримських татар[3] і калмиків. Одночасно з 1945 по 1947 рік — заступник начальника СМЕРШу в радянській зоні окупації Німеччини, уповноважений НКВС / МВС СРСР по Групі радянських окупаційних військ у Німеччині, заступник головнокомандувача Групи радянських окупаційних військ у Німеччині у справах цивільної адміністрації.
24 лютого 1947 — 13 березня 1954 року — 1-й заступник міністра внутрішніх справ СРСР.
13 березня 1954 — 8 грудня 1958 року — головаКДБ СРСР.
З 10 грудня 1958 по 2 лютого 1963 року — начальник Головного розвідувального управління (ГРУ) МО СРСР.
З січня по серпень 1963 року — помічник командувача військ Туркестанського військового округу по військово-навчальним закладам, з серпня 1963 року — помічник командувача військ Приволзького військового округу по військово-навчальним закладам. З вересня 1965 року — у відставці через хворобу.
Жив у Москві, де помер 1 липня1990 року. Похований на кладовищі села Іллінське, біля Барвихи (там, де у нього була дача).