Konstantin Stepanovič Mel'nikov nacque il 3 agosto 1890, ultimo di quattro fratelli.
Suo padre, Stepan Illarionovič Mel'nikov, originario della regione di Nižnij Novgorod, era un caposquadra addetto alla manutenzione stradale presso l'Accademia dell'Agricoltura di Mosca. Sua madre, Elena Grigor'evna Repkina, proveniva da una famiglia di contadini del distretto di Zvenigorod.
La famiglia Mel'nikov viveva in un'unica stanza in un complesso di baracche per classi lavoratrici gestito dallo stato chiamato Capanno di Fieno (Соломенная Сторожка), situato nei sobborghi nord di Mosca. Il padre, accortosi del talento di Konstantin nel disegno, gli portava spesso carta da disegno che era stata gettata via dall'Accademia. Tuttavia per Konstantin non fu possibile accedere agli studi artistici potendo solo frequentare due anni di scuola paritaria.