Народився в селянській родині. У 1931 році поїхав на Далекий Схід, де старший брат проходив військову службу. З 14 років Микола почав самостійно працювати учнем продавця в Роздольненському закритому військовому кооперативі.
У квітні 1933 року повернувся на батьківщину, де працював рахівником, секретарем районної ради профспілок. З 1934 року навчався на робітничому факультеті енергетичної промисловості («торф'яний робітфак») в селі Кудиново Московської області. Після закінчення робітфаку навчався в Московському інженерно-будівельному інституті імені Куйбишева.
У Червоній армії з 1938 року. Зарахований на 2-й курс академії і в 1941 році закінчив Військово-інженерну академію імені Куйбишева в Москві.
Учасник німецько-радянської війни. З червня 1941 року працював на будівництві укріпленого району біля річки Ломжа на посаді полкового інженера 1-го стрілецького полку 17-ї стрілецької дивізії Західного фронту. З жовтня 1941 по лютий 1942 року служив старшим інженером з фортифікації 2-го відділу в інженерному управлінні Карельського фронту, з лютого 1942 року — полковим інженером стрілецького полку 289-ї стрілецької дивізії, з червня 1942 року — бригадним інженером 61-ї морської стрілецької бригади. З грудня 1942 року — помічник начальника штабу інженерних військ 32-ї армії, з серпня 1943 року — помічник начальника оперативного відділу штабу інженерних військ Карельського фронту. З травня 1944 року — дивізійний інженер 122-ї стрілецької дивізії на Карельському, з листопада 1944 року — на 2-му Українському, потім на 3-му Українському фронтах.
11 квітня 1945 року під час бою Огарков, керуючи саперними підрозділами, був поранений і закінчення війни зустрів у госпіталі. У липні 1945 року повернувся в свою дивізію, але через три місяці у зв'язку з її розформуванням підполковника Огаркова призначають помічником начальника штабу інженерних військ 27-ї армії Прикарпатського військового округу.
З жовтня 1945 по січень 1946 року — помічник і старший помічник начальника штабу інженерних військ 27-ї армії Прикарпатського військового округу. У 1947 році закінчив оперативно-інженерний факультет Військово-інженерної академії імені Куйбишева. З лютого 1947 року — заступник начальника відділу інженерного управління Приморського військового округу.
У вересні 1948 року призначений старшим офіцером відділу, а з січня 1949 року — начальником відділу управління штабу головнокомандувача військ Далекого Сходу. З травня 1953 року — начальник оперативного відділу оперативного управління, а з листопада 1955 року — начальник оперативного управління — заступник начальника штабу Далекосхідного військового округу.
У 1957 році направлений на навчання до Військової академії Генерального штабу Збройних сил СРСР. Після закінчення академії в 1959 році призначений командиром 20-ї гвардійської мотострілецької дивізії в Групі радянських військ у Німеччині (місто Грімма).
У грудні 1961 року призначений начальником штабу — заступником командувача Білоруського військового округу.
З грудня 1965 по квітень 1968 року — командувач військ Приволзького військового округу.
З квітня 1968 року — перший заступник начальника Генерального штабу Збройних сил СРСР.
З березня 1974 по січень 1977 року — заступник міністра оборони СРСР — голова Державної технічної комісії СРСР, член Колегії Міністерства оборони СРСР.
8 січня 1977 призначений начальником генерального штабу Збройних сил СРСР — першим заступником міністра оборони СРСР. У вересні 1984 року знятий з посади начальника генерального штабу і призначений головнокомандувачем військ Західного напрямку.
У серпні 1988 — січні 1992 років служив генеральним інспектором Групи генеральних інспекторів Міністерства оборони СРСР. Одночасно з 1990 до серпня 1991 року очолював Всесоюзну раду ветеранів війни, праці, Збройних Сил та правоохоронних органів.
У січні 1992 року призначений радником при Міністерстві оборони Російської Федерації і одночасно — радник при начальнику Генерального штабу Об'єднаних Збройних сил держав — учасниць Співдружності Незалежних Держав.
Помер 23 січня 1994 року. Похований в Москві на Новодівочому кладовищі (ділянка 11).