4 сентября 1890 Зарубаев был произведён в генерал-майоры и назначен командиром 2-й бригады 13-й пехотной дивизии, с 25 ноября 1891 — начальником штаба 6-го армейского корпуса, с 25 февраля 1898 — начальником штаба Омского военного округа, 6 декабря 1899 произведён в генерал-лейтенанты, а с 28 февраля 1900 по 24 декабря 1903 командовал 9-й пехотной дивизией, после чего, 24 декабря 1903 был назначен помощником командующего войсками Сибирского военного округа.
На этой должности Зарубаева застала мобилизация 1904 г., и он 9 февраля 1904 был назначен командиром 4-го Сибирского корпуса, составленного из 2-й и 3-й Сибирских резервных бригад, развёрнутых в дивизии. По прибытии корпуса в мае 1904 г. на театр военных действий с Японией он получил назначение наблюдать побережье от Лаохе до Сеньючена и охранять пути от Сюяня к Хайчену и Гайджоу к коммуникации 1-го Сибирского корпуса.
После неудачи у Вафангоу 1-й и 4-й Сибирские корпуса были оттянуты к Дашичао и, по отъезде генерала Куропаткина с южного фронта на восточный, поступили в подчинение Зарубаева. 10—11 июля армия Оку атаковала наш Южный отряд, но была отбита на всех пунктах. Этот успех не был, однако, использован и превращён в победу, так как в 11 часов 11 июля Зарубаев получил от командующего армией приказание отступить к Хайчену. (Приказ командующего Армией А. Н. Куропаткина гласил: «…Если отступление необходимо, то оно должно быть произведено без боя» (источник «А. В. Шишов Неизвестные страницы Русско-японской войны» М., «Вече» стр. 231)
В Ляоянском сражении Зарубаев руководил обороной укреплённого района и также с успехом отбил все атаки японцев на форты и редуты, удержав позиции до приказания командующего армией отойти за Тайцзыхэ. Но эта заслуга Зарубаева была умалена его просьбой о подкреплении в тот момент, когда генерал Куропаткин получил донесение о катастрофе под Янтаем, что оказало косвенное влияние на очищение Ляояна.
В сражении на Шахе 4-й Сибирский корпус Зарубаева находился первоначально в резерве армии, но, двигаясь за центром, он после неудачных действий генерала May, бывшего впереди, неожиданно оказался в 1-й линии и вынес на своих плечах ряд упорных боёв у Хаматана.
Под Мукденом 4-й Сибирский корпус 10 дней (с 12 по 22 февраля) упорно оборонял свои позиции. 23 февраля Зарубаев становится во главе сводного корпуса, сформированного из частей 4-го и 1-го армейского корпуса; одна часть этого корпуса 23 февраля выдерживает бой у Цуэртуня, другая выделяется в отряд генерала Мылова; 25 февраля формирование сводного корпуса отменено, и войска Зарубаева подчиняются командующему 2-й армией. Сам же Зарубаев с момента увольнения генерала Куропаткина с поста главнокомандующего и до его назначения командующим 1-й Маньчжурской армией временно командовал этой последней. Со вступлением генерала Линевича на пост главнокомандующего Зарубаев немедленно вступил во временное командование 1-й армией, которой и командовал до назначения на этот пост генерала Куропаткина.
Руководил боем у Дашичао 10-го и 11-го июля, где проявил личное мужество, спокойствие и распорядительность, и удержал позицию за собою. 18 августа генералу Зарубаеву была поручена оборона главной позиции под Ляояном. Упорство, искусство и храбрость, проявленные вторым, третьим и четвёртым корпусами в дни наиболее тяжёлых боёв под Ляояном 19-го, 20-го и 21-го августа, в значительной степени зависели от личного мужества, распорядительности и неутомимости генерала Зарубаева
За время кампании Зарубаев выделился из ряда других высших генералов армии тем, что, не вмешиваясь в дело младшего, предоставлял инициативу подчинённым, хотя сам и не оказался способным её проявить (Дашичао, Ляоян); приказания его были немногочисленны, но определённы. Спокойно относясь к событиям, он не нервничал и не сбивал с толку подчинённых, не «дёргал» части, что придавало устойчивый, спокойный темп работе его штаба и войск его корпуса. Благодаря этим качествам Зарубаев приобрёл большую популярность в армии.
По окончании войны части 4-го Сибирского корпуса были расформированы, заслужив под начальством Зарубаева много боевых отличий, и сам Зарубаев 26 октября 1905 был назначен помощником Е. И. В. Главнокомандующего войсками Гвардии и Санкт-Петербургского военного округа, а 31 декабря, кроме того, и постоянным членом Совета государственной обороны.
С 6 августа 1906 по 24 декабря 1909 он занимал пост генерал-инспектора пехоты и председательствовал в комиссии, которой было поручено после войны выработать ряд мер по улучшению личного состава корпуса офицеров. Комиссия эта, приобретшая известность под именем «Комиссии генерала Зарубаева», констатировала лишь недочёты, высказала много пожеланий, но реальной пользы не принесла, так как её предначертания не получили осуществления.
Зарубаев числился в списках 12-го Сибирского Барнаульского полка (впоследствии 44-й Сибирский стрелковый полк), как наиболее отличившегося из частей его корпуса.
Награды
Орден Святого Станислава 3-й степени (1872)
Орден Святого Станислава 2-й степени (1878)
Орден Святой Анны 2-й степени (1882)
Орден Святого Владимира 4-й степени (1883)
Орден Святого Владимира 3-й степени (1887)
Орден Святого Станислава 1-й степени (1894)
Орден Святой Анны 1-й степени (1898)
Орден Святого Владимира 2-й степени (1902)
Орден Белого орла с мечами (14 июня 1905)
Орден Святого Георгия 4-й степени (1 ноября 1905)
Золотое оружие с надписью "За храбрость" (1906)
Орден Святого Александра Невского (6 декабря 1909)