В начале апреля 1915 года дивизия была переброшена в Литву. В бою под городом Поневежем Рокоссовский атаковал немецкую артиллерийскую батарею, за что был представлен к Георгиевскому кресту 3-й степени, однако не получил награду. В бою за железнодорожную станцию Трошкуны, вместе с несколькими драгунами, скрытно захватил окоп немецкого полевого караула, и 20 июля был награждён Георгиевской медалью 4-й степени. Каргопольский полк вёл окопную войну на берегу Западной Двины. Зимой-весной 1916 года в составе партизанского отряда сформированного из драгун, Константин многократно пересекал реку с целью разведки. 6 мая за атаку на немецкую заставу получил Георгиевскую медаль 3-й степени. В отряде он познакомился с унтер-офицером Адольфом Юшкевичем, имевшим революционные взгляды. В июне вернулся в состав полка, где снова переправлялся через реку в разведывательный поиск.
В конце октября переведен в учебную команду 1-го запасного кавалерийского полка. В феврале 1917 года Каргопольский полк переформировали, Рокоссовский попал в 4-й эскадрон, вместе с другими бойцами по льду переходил Двину и атаковал немецкие караулы. 5 марта полк временно находился в тылу, был созван и перед конным строем полковник зачитал акт об отречении Николая II от престола. 11 марта полк присягнул Временному правительству. В полку появились убежденные сторонники большевиков, среди которых был Иван Тюленев, согласно Приказу № 1 Петроградского Совета был избран полковой комитет. 29 марта Рокоссовский произведен в младшие унтер-офицеры.
Немцы же наступали на Ригу. С 19 августа Каргопольский полк прикрывает отступление пехоты и обозов в Латвии. 23 августа Рокоссовский с группой драгун отправился в разведку у местечка Кроненберг и обнаружил немецкую колонну, двигавшуюся по псковскому шоссе. 24 августа 1917 года представлен и 21 ноября награжден Георгиевской медалью 2-й степени. Драгуны выбирают Рокоссовского в эскадронный, а затем в полковой комитет, решавший вопросы жизни полка. Рокоссовский с группой драгун-поляков вернулся в Польшу и вступил в военную организацию, формировавшуюся лидерами польских националистов. В декабре 1917 года Константин Рокоссовский, Адольф Юшкевич и другие драгуны вступают в Красную Гвардию. В конце декабря Каргопольский полк перебрасывают в тыл на восток. 7 апреля 1918 года на станции Дикая, западнее Вологды, 5-й Каргопольский драгунский полк расформирован.
С октября 1917 года перешел в Красную Гвардию, затем в Красную Армию. 7 марта 1919 года вступил в РКП(б) (Членский билет № 239). В Гражданскую войну командир эскадрона, отдельного дивизиона, отдельного кавалерийского полка. 7 ноября 1919 года южнее станции Мангут в схватке с заместителем начальника 15-й Омской Сибирской стрелковой дивизии армии Колчака полковником Вознесенским Николаем Саверяновичем (в мемуарах Рокоссовского ошибочно «Воскресенским») зарубил последнего, а сам был ранен в плечо. 23 января 1920 года Рокоссовский был назначен командиром 30-го кавалерийского полка 30-й дивизии 5-й армии.
Летом 1921 года, командуя красным 35-м кавалерийским полком в бою под Троицкосавском нанёс поражение 2-й бригаде генерала Бориса Петровича Резухина из Азиатской дивизии генерала барона Унгерна фон Штернберга и был тяжело ранен. За этот бой Рокоссовского наградили орденом Красного Знамени.
30 апреля 1923 года женился на Юлии Петровне Барминой. 17 июня 1925 года родилась дочь Ариадна. С сентября 1924 до августа 1925 года – слушатель Кавалерийских курсов усовершенствования командного состава, вместе с Г. К. Жуковым. С 1926 по 1928 год служил в Монголии инструктором в монгольской армии. С января по апрель 1929 года прошёл курсы усовершенствования высшего начального состава при Академии им. М. В. Фрунзе, где познакомился с работами М. Н. Тухачевского. С января 1930 года командовал 7-й Самарской кавалерийской дивизией (одним из командиров бригад в которой был Г. К. Жуков). С введением в 1935 году персональных званий в РККА получил звание комдива.
В 1936 году К. К. Рокоссовский командует 5-м кавалерийским корпусом в Пскове.
27 июня 1937 года был исключен из ВКП(б) «за потерю классовой бдительности». В личном деле Рокоссовского имелась информация, что он был тесно связан с К. А. Чайковским. 22 июля 1937 года уволен из РККА «по служебному несоответствию». М. Н. Тухачевский, В. М. Примаков, Б. М. Фельдман дали показания как на участников военного заговора в РККА на комкора И. С. Кутякова и прочих, тот показал на командарма 2 ранга М. Д. Великанова и прочих, а тот, в числе прочих, показал на К. К. Рокоссовского. Начальник разведотдела штаба ЗабВО дал показания, что Рокоссовский в 1932 году встречался с начальником японской военной миссии в Харбине Мититаро Комацубара.
В августе 1937 года поехал в Ленинград, где был арестован по обвинению в связях с польской и японской разведками, став жертвой ложных показаний. Два с половиной года провёл под следствием (Следственное дело № 25358-1937).
Доказательства строились на показаниях поляка Адольфа Юшкевича, соратника Рокоссовского в гражданскую. Но Рокоссовский-то хорошо знал, что Юшкевич погиб под Перекопом. Он сказал, что всё подпишет, если Адольфа приведут на очную ставку. Стали искать Юшкевича и обнаружили, что он давно умер.
С 17 августа 1937 года по 22 марта 1940 года, согласно справке от 4 апреля 1940 года, содержался во внутренней тюрьме УГБ при НКВД по Ленинградской области на Шпалерной улице. По рассказам жены маршала Казакова, Рокоссовский подвергался пыткам. В этих пытках принимал участие начальник Ленинградского УНКВД Заковский. Рокоссовскому выбили несколько зубов, сломали три ребра, молотком били по пальцам ног, а в 1939 году его выводили во двор тюрьмы на расстрел и давали холостой выстрел. Однако Рокоссовский не дал ложных показаний ни на себя, ни на других. По рассказу правнучки, в своих записях отметил, что враг посеял сомнения и обманул партию – это привело к арестам невиновных. По сведениям полковника юстиции Климина Ф. А., бывшего в числе трех судей Военной коллегии ВС СССР разбиравших дело Рокоссовского, в марте 1939 года состоялся суд, но все свидетели, давшие показания, уже были мертвы. Рассмотрение дела было отложено на доследование, осенью 1939 года состоялось второе заседание, также отложившее вынесение приговора. По некоторым предположениям, Рокоссовский был этапирован в лагерь. Есть версия, что все это время Рокоссовский находился в Испании в качестве военного эмиссара под псевдонимом, предположительно, Мигель Мартинес (из «Испанского дневника» М. Е. Кольцова).
22 марта 1940 года был освобожден в связи с прекращением дела, при ходатайстве С. К. Тимошенко к И. В. Сталину, и реабилитирован. К. К. Рокоссовского полностью восстанавливают в правах, в красноармейской должности и в партии, весну проводит с семьей на курорте в Сочи. В том же году с введением генеральских званий в РККА ему присваивается звание «генерал-майор». Снова командует 5-м кавалерийским корпусом.
