Jarosenko katona-családban született, atyja katonatiszt volt, a fiú is a katonai pályára lépett. A katonai kiképzés mellett gondot fordított képzőművészeti tanulmányaira is, Ivan Nyikolajevics Kramszkoj festőiskoláját látogatta 1866-67-ben. 1874-ben a szentpétervári Művészeti Akadémián képezte magát, 1876-tól vezette azt a művészeti csoportot, amely szembeszállt az akadémiai festészet megcsontosodott hagyományos stílusával, mind témákban, mind színekben egy gazdagabb, elevenebb világot óhajtottak ábrázolni. Jarosenko is erre törekedett műveiben. A Vándorkiállítók Társasága egyik vezető egyénisége lett, az ő műveit is kiállították, 1875-ben a negyedik vándorkiállításon nagy sikere volt a Nevsky Prospect éjszaka című képével (sajnos ez a kép a II. világháború alatt megsemmisült), mely az elhagyott sugárutat ábrázolja egy esős éjszakában.
Nagy feltűnést keltett A fűtő, A fogoly és az Egy litván várnál című képe az 1880-as években, betiltották az utóbbi képek kiállítását, s a művészt egy időre házi őrizetbe helyezték, úgy érzékelte a hatóság, hogy Jarosenko mintegy nehezményezi a hatalomnak a politikai foglyokkal való bánásmódját.
Gazdag élettapasztalatokkal rendelkezett, bejárta az Orosz Birodalmat, Európát és Közel-Keletet (Szíria, Palesztina, Egyiptom).
Teljességgel 1892-1898 közt szentelhette magát a festészetnek, miután 1892-ben mint vezérőrnagy nyugalomba vonult a birodalmi hadseregből. Előbb Szentpéterváron, majd Kiszlodovszkban élt és alkotott.
Nem volt teljességgel hivatásos festő, de gazdag életművet hagyott hátra. Egyes életképeivel a szimbolizmushoz, tájképeivel az impresszionizmushoz közeledett. Portréiban pedig ki tudta fejezni a karaktert. Hihetetlenül sok mondanivalóját fejezte ki képeiben kora orosz társadalmáról. Még halálát megelőző közvetlen időszakban is nagy tervei voltak, az uráli bányászok életét tervezte vászonra vinni. Halála hirtelen jött, szívgyengeség végzett vele.
