В первые же дни оборона войск Западного и Резервного фронтов была прорвана, противник продвинулся в глубину от 15 до 70 километров. Проведенные командованием Западного фронта контрудары не принесли успеха. Это вынудило Конева доложить Сталину о реальности выхода противника в тыл войск первого эшелона и просить его разрешения на отход. Но Сталин не дал такого разрешения, и уже 7 октября немецкие танковые группы соединились в районе Вязьмы, взяв в кольцо войска 19-й, 20-й, 24-й и 32-й армий.
Для расследования случившегося в штаб Конева приехали члены ГКО В.М.Молотов и К.Е.Ворошилов. Дело шло к отдаче Конева под трибунал. Но бывшего командующего спас Г.К.Жуков, назначенный на должность командующего Западным фронтом и взявший Конева своим заместителем.
В середине октября возникла угроза прорыва немецких войск к столице с севера, и Конев, направленный на этот участок, сумел провести контрудар, в результате которого в районе Торжка была разгромлена прорвавшаяся танковая группировка противника.
Это реабилитировало Конева в глазах Сталина, который приказал возложить на него командование вновь созданным Калининским фронтом из войск, действовавших ранее на правом крыле Западного фронта.
Войска Калининского фронта первыми начали контрнаступление против гитлеровских войск и уже 5 декабря прорвали оборону 9-й немецкой армии, а 16 декабря освободили Калинин. К началу января 1942 года войска Конева вышли к Волге северо-западнее Ржева.
Большую часть 1942 года войска Калининского фронта действовали против Ржевского выступа, который Сталин считал важным стратегическим плацдармом противника для нового наступления на Москву. Несмотря на то что войска группы армий «Центр», находящиеся в этом выступе, окружить не удалось, командование вермахта было вынуждено перебрасывать сюда войска с действительно важных стратегических направлений, что облегчило положение действующих там советских войск.
Весной 1943 года Конев был назначен командующим Степным (Резервным) фронтом, силы которого должны были быть введены на втором этапе сражения на Курской дуге. Но уже на первом этапе по приказу Ставки ему пришлось вводить в полосу Воронежского фронта 5-ю гвардейскую танковую и 5-ю гвардейскую армии, сыгравшие решающую роль в сражении под Прохоровкой.
К 13 августа войска Конева подошли к Харькову, прорвали внешнее кольцо его обороны, а через четыре дня завязали бои на его окраине. По приказу Конева город был охвачен почти со всех сторон. По единственной шоссейной и железной дорогам противник стал отходить из Харькова. 22 августа последовал ночной штурм города, и к 12 часам следующего дня город был освобожден. Чтобы не дать немецким войскам опомниться, по приказу Конева был организован авиационный удар по отходящему противнику. 28 августа ему было присвоено звание генерала армии.
23 сентября была освобождена Полтава, а на следующий день был захвачен плацдарм на Днепре северо-западнее Днепродзержинска.
5—8 января 1944 года была успешно проведена Кировоградская операция.
В конце января в результате проведенных операций на стыке 1-го и 2-го (бывшего Степного) Украинских фронтов в районе Корсунь-Шевченко образовался выступ, который Гитлер приказал удержать с целью восстановления обороны по Днепру. Этот выступ Ставка приказала «срезать» командующему 1-м Украинским фронтом генералу Н.Ф.Ватутину и Коневу. Операция проходила с 24 января по 17 февраля. Была окружена и уничтожена группировка генерала Штиммермана. Коневу было присвоено звание Маршала Советского Союза.
В марте войска 2-го Украинского фронта овладели Уманью и форсировали Южный Буг на протяжении 100 км. К концу марта войска вышли на государственную границу, перенеся военные действия на территорию Румынии. К середине апреля войска Конева достигли Карпат, вышли на подступы к Яссам и Кишиневу. Но Коневу освобождать Молдавию и Румынию не пришлось. В мае он был назначен командующим 1-м Украинским фронтом.
Целью новой операции был разгром группы «Северная Украина», освобождение Западной Украины и юго-восточной Польши. Планируя операцию, Конев решил нанести два равных по силе удара на львовском и рава-русском направлениях, учитывая, что это вынудит немецкое командование распылить свои силы.
13 июля операция началась, и к 18 июля оборона противника была прорвана на глубину 50—80 км. Немецкое командование ожидало главного удара на львовском направлении, сосредоточив здесь значительные силы, и потому сопротивление на рава-русском направлении оказалось незначительным. Поэтому часть войск Конев повернул в тыл Львовской группировки. Вскоре под Бродами было окружено 8 немецких дивизий. К концу дня 22 июля вражеская группировка была ликвидирована. 27 июля были освобождены Львов, Перемышль, Станислав. К 1 августа в районе Сандомира была форсирована Висла и создан важный плацдарм для дальнейшего наступления.
Немецкое командование, понимая всю опасность этого плацдарма, попыталось нанести по оборонявшимся на нем советским войскам несколько контрударов, подтянув для этого 16 пехотных и танковых дивизий. Тогда Конев ввел в сражение 5-ю гвардейскую танковую армию из своего резерва, которая отразила натиск противника.
За Львовско-Сандомирскую операцию Коневу было присвоено звание Героя Советского Союза.
1 октября войска 1-го Украинского фронта перешли чехословацкую границу северо-западнее Дукельского перевала и при содействии чехословацких войск овладели перевалом.
В завершающем году войны войска 1-го Украинского фронта начали наступление с Сандомирского плацдарма. В ходе наступления были разгромлены как тактические, так и оперативные резервы противника и создана угроза его окружения между Пулковским и Сандомирским плацдармами.
Незадолго до начала операции Сталин в разговоре с Коневым потребовал предотвратить разрушение немцами важного Домбровско-Силезского района и сохранить Краков.
Коневу пришлось отказаться от применения артиллерии и авиации и создать для немецких войск угрозу окружения, предварительно оставив для них коридор для отхода на юг. Но лишь только противник оставил Краков и стал отходить, как его колонны были накрыты артиллерийским и авиационным огнем.
Краков послужил для Конева ключом к Силезии. 3-я гвардейская танковая армия была повернута с вроцлавского на силезское направление. Армии полукольцом охватывали двухсоттысячную группировку немцев, угрожая ей окружением. Но, учитывая приказ Сталина сохранить Силезский район от разрушения, Конев вновь оставил немцам коридор для отступления.
Уже к 20-м числам января войска Конева вышли к Одеру и форсировали его. Вместе с командующим 1-м Белорусским фронтом маршалом Г.К.Жуковым Конев настаивал на немедленном наступлении на Берлин, где не было создано прочной обороны и не имелось достаточного количества войск. Но Жуков опасался удара по своему правому флангу со стороны Восточнопомеранской группировки.
Коневу же пришлось проводить Нижнесилезскую операцию с целью разгрома группы армий «Центр». В течение суток 8 февраля войска 1-го Украинского фронта прорвали Одерский оборонительный рубеж. Были захвачены плацдармы на западном берегу Нейсе. 1 апреля капитулировал 18-тысячный гарнизон города-крепости Глогау. В районе Бреслау была окружена 40-тысячная группировка противника. Войска 1-го Украинского фронта овладели Нижней Селезией и охватили верхнесилезскую группировку. На правом крыле фронта войска были готовы к штурму Берлина.
Однако Жуков по-прежнему хотел захватить Берлин самостоятельно. Войска Конева должны были разгромить противника южнее Берлина и выйти к Эльбе на соединение с союзными войсками.
В первый же день наступления 16 апреля войска Конева прорвали главную полосу обороны противника и форсировали Шпрее. В это же время войска Жукова застряли на достаточно укрепленных Зееловских высотах.
Желая взять Берлин к 1 мая, Сталин приказал Коневу повернуть танковые армии на Берлин, сказав обоим командующим, что «Берлин возьмет тот, кто первым туда ворвется».
Танковые армии, дополнительно усиленные артиллерийскими и авиационными соединениями, перешли в наступление и 22 апреля вышли к южной окраине Берлина. 25 апреля войска 1-го Белорусского и 1-го Украинского фронтов соединились западнее Берлина. Вся группировка противника была окружена.
Гитлер приказал 12-й армии Венка оставить на западе рубеж своей обороны против американцев на Эльбе и направиться к Потсдаму на соединение с окруженной 9-й армией. В штаб Венка для координации боевых действий был направлен главный советник Гитлера по оперативно-стратегическим вопросам фельдмаршал В.Кейтель. С севера действия Венка должны были поддерживаться контрударами армейской группы.
