Этим фронтом Конев командовал с октября 1941 по август 1942 года, участвовал в битве за Москву. Провел Калининскую оборонительную операцию и Калининскую наступательную операцию в ходе контрнаступления под Москвой против превосходящих сил противника. Несмотря на недостаток сил и средств, он скрытно сосредоточил основные усилия на направлениях наносимых ударов и прорвал оборону западнее и юго-западнее Калинина. Это оказалось настолько неожиданным для противника, что командующий германской 9-й армией под угрозой окружения был вынужден начать отвод своих войск.
С января 1942 года имя Конева тесно связано с тяжелейшей и малоудачной для советских войск Ржевской битвой, его войска участвовали в Ржевско-Вяземской операции 1942 года, потерпели новое поражение в Холм-Жирковской оборонительной операции.
С августа 1942 года по февраль 1943 года Конев снова командовал Западным фронтом и совместно с Г. К. Жуковым провёл исключительно кровопролитные Первую Ржевско-Сычёвскую операцию и операцию «Марс», в которых войска его фронта при огромных потерях добились лишь незначительного продвижения в несколько десятков километров. В феврале 1943 года также неудачно была проведена Жиздринская операция, после чего в начале марта Конев был снят с поста командующего Западным фронтом и назначен командовать гораздо менее важным Северо-Западным фронтом. Однако и там ему не удалось отличиться, войска этого фронта понесли тяжелые потери и не добились успеха в Старорусской операции.
Полководческий талант И. С. Конева наиболее убедительно и ярко проявился в наступательных операциях. Иван Степанович, по оценке Василевского, по настойчивости и силе воли был наиболее близок к Жукову. Он обладал на редкость хорошей интуицией, умело сочетал мощь артиллерии и авиации с быстротой, натиском и внезапностью удара. Зарубежные военные историки называют его «гением внезапности». Он стремился увидеть поле боя собственными глазами, тщательно готовил каждую операцию. Во второй половине войны большинство наступательных операций наших войск сопровождалось окружением и уничтожением крупных группировок противника, и многие полководцы в том преуспели. Но, видимо, наибольшим мастером этого дела был именно Конев. Задолго до Сталинградской операции он разглядел боязнь немцев оказаться в окружении и потом не раз умело использовал эту их слабость. При этом он стремился не ввязываться в затяжные бои в больших городах, обходными маневрами вынуждал противника покинуть город, что давало возможность уменьшить свои потери, не допустить больших разрушений и жертв среди мирного населения.
В июле 1943 года Конева назначили командующим войсками Степного фронта, во главе которого сумел добиться успехов в Курской битве. Проходившая в июле – августе 1943 года Курская битва вошла в историю как крупнейшее танковое сражение войны. Хотя Конев не играл в ней решающей роли, но в этой операции он проявил себя с самой лучшей стороны и вернул расположение Сталина. Части вверенного ему Степного фронта располагались за позициями двух других советских фронтов в качестве резерва. Конев практически не принимал участия в оборонительных боях в этом районе. А когда советские войска перешли в контрнаступление, его фронт поддерживал наступление других частей.
3 августа 1943 года Степной фронт нанес удар из района северо-западнее Белгорода в направлении Богодухов, Новая Водолага с целью рассечь на части войска группы армий «Юг» фельдмаршала Манштейна и отрезать пути их отхода от Харькова. Характерным для этой операции было то, что организация и перегруппировка войск производились не как обычно в стабильной обстановке в подготовительный период, а в ходе ожесточенных оборонительных сражений. Наступать приходилось против очень плотных группировок противника, созданных для ведения наступления и вынужденных перейти к обороне. Поэтому боевые действия отличались огромным напряжением и войска с большим трудом преодолевали ожесточенное сопротивление врага.
Обстановка требовала быстрейшего выхода к Днепру. Но окружение и уничтожение отдельных группировок противника не исключались. Конев и на этот раз не отказался от своей излюбленной формы оперативного маневра. Так, когда 13 августа 1943 года войска Степного фронта прорвали оборонительный рубеж противника на подступах к Харькову, командующий поставил задачу 53-й, 5-й гвардейской танковой и 7-й гвардейской армиям охватить город с запада, юго-запада, востока и юго-востока. Манштейн упорно сопротивлялся. Но, когда осталась лишь одна шоссейная и одна железная дорога на Мерефу и Красноград, германские войска дрогнули и начали покидать Харьков. Чтобы не допустить больших разрушений и нанести поражение отходящему противнику, Конев 22 августа отдал приказ на ночной штурм, ограничив при этом авиационные и артиллерийские удары по городу. На следующий день войска его фронта овладели Харьковом.
В сентябре 1943 года была освобождена Полтава, в октябре – Кременчуг, что вошло в рамки Полтавско-Кременчугской операции. В конце сентября 1943 года его армии с ходу форсировали Днепр. 26 августа 1943 года И. С. Коневу было присвоено воинское звание генерал армии. В октябре 1943 года Степной фронт был переименован в 2-й Украинский фронт, Конев остался его командующим и в октябре – декабре 1943 года провёл Пятихатскую и Знаменскую операцию, а в январе 1944 года – Кировоградскую операцию. В ходе проведения Кировоградской операции командующий войсками Степного фронта генерал армии Конев вновь совершил умелый маневр танковыми силами, которые во взаимодействии с общевойсковыми армиями окружили противника.
Свое доведенное до совершенства полководческое искусство по окружению и уничтожению в короткие сроки крупных группировок противника Конев проявил в Корсунь-Шевченковской операции, которую проводил во взаимодействии с войсками 1-го Украинского фронта генерала Н. Ф. Ватутина. В этой операции перед 2-м Украинским фронтом и 1-м Украинским фронтом стояла задача уничтожения укрепившихся на Каневском выступе в излучине Днепра 10 немецких дивизий, входивших в состав 1-й танковой армии и 8-й общевойсковой армии. Внезапность наступления обеспечивалась тем, что оно было предпринято ранней весной 1944 года, в условиях распутицы и бездорожья. Манштейн не ожидал, что в такое время может начаться крупное наступление. Внезапности способствовали оперативная маскировка основного удара и демонстрация сосредоточения сил на второстепенном направлении.
2-й Украинский фронт перешел в наступление 24 января 1944 года. С прорывом главной полосы обороны противника командующий фронтом ввел в сражение 5-ю гвардейскую танковую армию. Навстречу ей в полосе 1-го Украинского фронта была введена 6-я гвардейская танковая армия, и 28 января эти танковые группировки соединились в районе Звенигородки, завершив окружение группировки численностью около 80 тыс. человек, более 230 танков и большого количества другой техники. Одновременно активными действиями других танковых соединений и общевойсковых армий был создан надежный внешний фронт окружения, чтобы не допустить деблокирования окруженной группировки и обеспечить благоприятные условия для быстрой ее ликвидации. При этом окружение и уничтожение противника производились не последовательно, а практически одновременно, как единый процесс. Это было новым достижением в стратегии и оперативном искусстве.
