22 марта 1940 года был освобожден в связи с прекращением дела, при ходатайстве С. К. Тимошенко к И. В. Сталину, и реабилитирован. К. К. Рокоссовского полностью восстанавливают в правах, в красноармейской должности и в партии, весну проводит с семьей на курорте в Сочи. В том же году с введением генеральских званий в РККА ему присваивается звание «генерал-майор». Снова командует 5-м кавалерийским корпусом.
Корпус переводился в Киевский особый военный округ, чтобы участвовать в операциях в Бессарабии. На Украине под руководством Жукова уже было тайно создано полевое управление Южного фронта.
26 июня 40-го года Молотов предъявил Румынии ультиматум, после чего немедленно позвонил Риббентропу. По рекомендации рейха румынское правительство приказало своим войскам отойти к новой границе.
28 июня танковые и кавалерийские части перешли границы. Почти все население Бессарабии и Северной Буковины снялось с мест и устремилось на Запад. Тогда для перехвата беженцев были сброшены парашютные части, не пропускавшие спасающихся людей в Румынию и разворачивавшие их обратно.
Позднее Константин Рокоссовский писал: «Опыт, приобретенный в дни этого похода, был очень полезен. Мы, командиры, старались опираться на него, организуя боевую подготовку войск».
Опыта надо было набираться незамедлительно, так как в июле 40-го года, начальник штаба 18-й армии вермахта Эрих Маркс получил от Йодля задание: разработать идею военной кампании против СССР.
Войну с Германией Рокоссовский встретил, по-прежнему командуя 5-м корпусом, который из кавалерийского превратился в танковый.
Корпус сражался под Дубно-Луцком-Бродами. Несмотря на некомплект танков и транспорта, войска мехкорпуса в течение июня – июля 1941 года активной обороной изматывали противника, отступая только по приказу.
В тяжелейшие дни июля 1941 года К. К. Рокоссовский был назначен командующим оперативной группой, призванной предотвратить соединение танковых групп Гота и Гудериана к востоку от Смоленска. Ему выделили группу офицеров, радиостанцию и два автомобиля. Это и была его оперативная группа. Остальное он должен был добирать сам: останавливать и подчинять себе остатки 20-й и 16-й армий, выходивших из смоленского котла и удерживать этими силами коридор между Ярцево и Ельней, не позволяя танковым клиньям немцев сомкнуться.
Маршал вспоминал: «В штабе фронта я ознакомился с данными на 17 июля. Работники штаба не очень-то были уверены, что их материалы точно соответствуют действительности, поскольку с некоторыми армиями, в частности с 19-й и 22-й, не было связи. Поступили сведения о появлении в районе Ельни каких-то крупных танковых частей противника. Эта непростая задача была успешно решена. В короткое время собрали порядочное количество людей. Были здесь пехотинцы, артиллеристы, связисты, саперы, пулеметчики, минометчики, медицинские работники. В нашем распоряжении оказалось немало грузовиков. Они нам очень пригодились». Так началось в процессе боев формирование в районе Ярцево соединения, получившего официальное название «группа генерала Рокоссовского».
Позднее группа Рокоссовского была слита с понесшей тяжелые потери 16-й армией, а Рокоссовский был назначен командующим этой армии. 16-я армия, почти полностью состоявшая из бывших лагерников. До него этим соединением командовал генерал Лукин, тоже в свое время ставший жертвой сталинских чисток. Однако удельный вес танковых частей в его армии был одним из самых высоких в РККА.
16-я армия должна была прикрывать Волоколамское направление к Москве. Там сложилась особенно трагичная ситуация: советских войск не было, дорога на Москву была открыта, а большая часть войск 16 армии была либо переподчинена, либо находилась в окружении. К. К. Рокоссовский перехватывал войска на марше и, как мог, закрывал Волоколамское направление. В его распоряжение поступил отдельный курсантский полк, созданный на базе Московского пехотного училища им. Верховного Совета РСФСР, 316-я стрелковая дивизия генерал-майора И. В. Панфилова, 3-й кавалерийский корпус генерал-майора Л. М. Доватора. Вскоре под Москвой была восстановлена сплошная линия обороны, и завязались упорные бои.
Об этой битве Рокоссовский так написал 5 марта 1948 года: «В связи с прорывом обороны на участке 30-й армии и отхода частей 5-й армии, войска 16-й армии, сражаясь за каждый метр, в жестоких боях были оттеснены к Москве на рубеже: севернее Красная Поляна, Крюково, Истра, и на этом рубеже в жестоких боях окончательно остановили немецкое наступление, а затем перейдя в общее контрнаступление, совместно с другими армиями, проводимое по замыслу товарища Сталина, враг был разбит и отброшен далеко от Москвы».
Под Москвой К. К. Рокоссовский приобрел полководческий авторитет. За битву под Москвой, К. К. Рокоссовский был награждён орденом Ленина. В этот период в 85-м походно-полевом госпитале при штабе армии он познакомился с военврачом 2-го ранга Галиной Васильевной Талановой.
8 марта 1942 года Рокоссовский был ранен осколком снаряда. Ранение оказалось тяжелым – были задеты правое легкое, печень, ребра и позвоночник. После операции в Козельске, был доставлен в московский госпиталь в здании Тимирязевской академии, где проходил лечение до 23-го мая 1942 года. Приехавшая в госпиталь с концертом Валентина Серова влюбилась в него, но генерал не ответил ей взаимностью. 26 мая прибыл в Сухиничи и вновь принял командование 16-й армией. 30 сентября 1942 года генерал-лейтенант К. К. Рокоссовский был назначен командующим Сталинградским фронтом. При его участии был разработан план операции «Уран» по окружению и уничтожению вражеской группировки, наступавшей на Сталинград. Силами нескольких фронтов 19 ноября 1942 года началось проведение операции, 23 ноября кольцо вокруг 6-й армии генерала Ф. Паулюса было замкнуто.
Позже Рокоссовский подвел итог: «…успешно была выполнена задача, связанная с участием войск Донского фронта в общем наступлении, проводимом по замыслу товарища Сталина, вылившаяся в полное окружение всей Сталинградской группировки немцев…»
Руководство по разгрому вражеской группировки Ставка поручила К. К. Рокоссовскому, что являлось проявлением уважения к нему.
31 января 1943 года войска под командованием К. К. Рокоссовского пленили фельдмаршала Паулюса, 24 генерала, 2500 немецких офицеров, 90 тыс. солдат. 28 января он был награждён только что учрежденным орденом Суворова.
Рокоссовский пишет в своей автобиографии: «В феврале 1943 года приказом товарища Сталина назначаюсь командующим Центральным фронтом. Руководил действиями войск этого фронта в великом оборонительном, а затем контрнаступательном сражении, проводимом по замыслу товарища Сталина на Курско-Орловской дуге…»
