В 1938 году Конев был назначен командиром Особого стрелкового корпуса на территории Монгольской Народной Республики, с июля 1938 года – командующим 2-й Особой Краснознаменной армии, дислоцировавшейся на Дальнем Востоке.
Когда в районе реки Халхин-Гол начались бои, туда стали спешно перебрасывать обученные части и новую технику, но в первые дни боев положение было очень тяжелым, и после ряда тактических неудач Сталин принял решение сменить руководство группировки. Из Москвы был вызван Жуков, и хотя другие командиры, в том числе и Конев, сделали все, что смогли, слава победы досталась практически одному Жукову.
Не сумев прославиться в Монголии, Конев был в очередной раз обойден при присвоении воинских званий. Он не был репрессирован, как многие другие, но своему повышению до командующего армией в период до начала войны с Германией он обязан только большому стажу службы и острому недостатку опытных командных кадров в результате массовых репрессий в армии. Впрочем, его репутация грамотного генерала осталась при нем.
Конев стал командармом 2-го ранга в феврале 1939 года. С июня 1940 года командовал войсками Забайкальского военного округа, с января 1941 года – Северо-Кавказского военного округа. Генерал-лейтенант с июня 1940 года.
В Великую Отечественную войну генерал-лейтенант И. С. Конев вступил в должности командующего 19-й армией, спешно сформированной из войск Северо-Кавказского военного округа. Армия первоначально была направлена на Юго-Западный фронт, но уже в начале июля из-за катастрофического развития обстановки на западном направлении переброшена на Западный фронт. В ходе Смоленского сражения войска армии понесли большие потери, но избежали разгрома и упорно оборонялись. Действия Конева на посту командующего армией было высоко оценены И. В. Сталиным, и в начале сентября 1941 года Конев был назначен командующим войсками Западного фронта, тогда же ему было присвоено звание генерал-полковника.
Он принял войска фронта, на исходе Смоленского сражения перешедшие к обороне на рубеже от озера Селигер до Ельни, когда германское командование, произведя перегруппировку и подтянув дополнительные силы, готовило новую наступательную операцию на московском направлении под кодовым названием «Тайфун».
Конев командовал войсками Западного фронта чуть более месяца (сентябрь – октябрь 1941 года), за это время фронт под его командованием потерпел одно из тяжелейших поражений за всю войну. Он принял командование тем участком советской обороны, на котором немцы буквально через несколько дней предприняли генеральное наступление на Москву. В этой операции должны были принять участие три четверти германских вооруженных сил на Восточном фронте, включая все танковые дивизии. Усиленной группе армий «Центр» противостояли в этой мясорубке соединения Западного фронта генерала Конева, Брянского и Резервного фронтов – всего 13 общевойсковых армий. Общая численность их достигала миллиона человек, однако почти во всех соединениях и частях не хватало артиллерии, противотанковых средств, фактор мобильности был очень низок – не хватало автотранспорта и лошадей.
С точки зрения технической оснащенности и подготовки эти части, которые приняли на себя удар в начальный период битвы за Москву, являлись самыми слабыми из всех советских армий, выходивших на поле боя. Большинство солдат и офицеров были призваны из резерва, не имели боевого опыта и достаточной военной подготовки. Развернувшееся в начале октября 1941 года Вяземско-Брянское сражение, ставшее следствием начала операции «Тайфун», давало немцам шанс окончить войну уже в 1941 году.
Войска Западного, Резервного и Брянского фронтов не смогли противостоять этому наступлению противника и потерпели серьезное поражение. В частности, войска Западного фронта понесли потери до полумиллиона человек, оборона была дезорганизована и развалилась. Взбешенный этим поражением Сталин сместил Конева, назначив на его место Жукова. Однако наступление остановил не он. Попавшие в окружение бывшие коневские части Западного и Резервного фронтов продолжали оказывать упорное сопротивление, сковав 28 немецких дивизий. 14 из них не смогли освободиться до середины октября, что позволило советскому командованию выиграть время для организации сопротивления на Можайской линии обороны. Остановили немецкое наступление не советские генералы, а простые солдаты и офицеры, тысячами погибавшие в окружении, и именно их героическая смерть стала тем фундаментом, на котором потом была достигнута победа в битве за Москву.
Г. К. Жуков, в целом высоко отзывавшийся о полководческих качествах Конева, вынужден был отметить, что он «не находил себя в обороне». Конева, как до этого расстрелянного в начале войны генерала Павлова, ждала тяжелая участь. Комиссия Государственного Комитета Обороны во главе с В. М. Молотовым и К. Е. Ворошиловым должна была расследовать причины катастрофы. Но Жуков сумел отстоять его перед Сталиным, заявив, что «Конев умный человек и он еще пригодится». Жуков не ошибся. Мало кому из великих полководцев, как, например, Суворову, удавалось избежать серьезных неудач и поражений. Но величие и определяется умением извлекать уроки. Г. К. Жуков предложил оставить Конева заместителем командующего фронтом. Конев после неудач в Вяземской оборонительной операции сохранил самообладание, сделал для себя правильные выводы. Уже в середине октября 1941 года, возглавляя правофланговые объединения Западного фронта, он сумел разгромить прорвавшиеся к городу Калинину части 3-й танковой группы немцев и остановить их продвижение, сорвав тем самым планы противника по обходу Москвы с севера. Тогда Ставкой было принято решение о создании Калининского фронта, командующим войсками которого был назначен И. С. Конев.
Этим фронтом Конев командовал с октября 1941 по август 1942 года, участвовал в битве за Москву. Провел Калининскую оборонительную операцию и Калининскую наступательную операцию в ходе контрнаступления под Москвой против превосходящих сил противника. Несмотря на недостаток сил и средств, он скрытно сосредоточил основные усилия на направлениях наносимых ударов и прорвал оборону западнее и юго-западнее Калинина. Это оказалось настолько неожиданным для противника, что командующий германской 9-й армией под угрозой окружения был вынужден начать отвод своих войск.
С января 1942 года имя Конева тесно связано с тяжелейшей и малоудачной для советских войск Ржевской битвой, его войска участвовали в Ржевско-Вяземской операции 1942 года, потерпели новое поражение в Холм-Жирковской оборонительной операции.
