За контрразведку в дислоцированных в Советской оккупационной зоне частях Красной Армии во время Второй мировой войны отвечал «Смерш». Эта контрразведывательная служба, созданная в 1943 году из особых отделов НКВД в войсках и формально подчиненная Народному комиссару обороны, возглавлялась генерал-полковником Виктором Семеновичем Абакумовым. Сотрудники «Смерш», отвечавшие за контрразведывательное обеспечение Красной Армии, флота и войск НКВД, на самом деле оставались в теснейшем контакте с НКВД. Абакумов даже не посчитал нужным переехать из своего кабинета на Лубянке в здание Наркомата обороны.
После немецкой капитуляции в мае 1945 года группа офицеров «Смерш» устроила на вилле фон Мирбаха в Потсдаме штаб-квартиру Управления контрразведки (УКР) Народного комиссариата обороны. Даже когда штаб советских оккупационных войск в 1946 году переехал в городок Вюнсдорф к югу от Берлина, ванная контрразведка осталась в Потсдаме. Хотя такое разделение порой приводило к сложностям, военная контрразведка так и пребывала в Потсдаме до самого вывода российских войск в 1994 году. По мнению советских контрразведчиков сначала причины этого были в недостаточной инфраструктуре в Вюнсдорфе, где просто не было достаточного количества казарм и служебных зданий для большого количества войск. Позже все попытки устранить это географическое разделение, нередко вызывавшие проблемы с координацией и согласованием, сорвались из-за нехватки денежных средств.
Управление контрразведки одновременно отвечало и за защиту советских войск от иностранного шпионажа и за политическую благонадежность военнослужащих ГСОВГ, являясь главным противником западных разведок. В задачи УКР входило выслеживание вражеских шпионов с целью их ареста или перевербовки и использования как двойных агентов. Информаторов УКР вербовало из числа советских военнослужащих, а также немцев, проживавших поблизости мест дислокации советских войск.
Благодаря богатому опыту «Смерш» первые успехи не заставили себя ждать. Уже в августе 1945 года контрразведка арестовала в Эрфурте одного шпиона, работавшего на англичан и пытавшегося выведать настроения в Красной армии. Кроме того, британцы поручили ему собирать информацию о воссозданной Коммунистической партии Германии (КПГ) и о других антифашистских организациях, о взаимоотношениях русских и немцев, о реакции немцев на мероприятия СВАГ и материал о демонтированных предприятиях. В то время американская сторона располагала очень слабой информацией о структуре советской контрразведки, так как контрразведка самой американской армии тогда занималась в основном поиском нацистских военных преступников. Без систем «Ультра» и «Мэйджик», то есть радиоперехвата и дешифровки, сходных с теми, благодаря которым в годы войны удалось взломать немецкие и японские шифры, американские спецслужбы сразу после войны были почти беспомощны. Кроме того, существовала жесткая конкуренция между Контрразведывательным корпусом с одной стороны и Подразделением стратегических служб, Центральной разведывательной группой и ЦРУ с другой.
В рамках операции „TICOM“ американцы переманили себе на службу многих немецких дешифровщиков сразу же после войны, что позволило им взломать советские шифры. До 1948 года, когда СССР благодаря своим разведчикам узнал о том, что его шифры читаются, и провел их радикальную смену, Агентство армейской безопасности (ААБ, Army Security Agency, ASA) — предшественник нынешнего Агентства национальной безопасности (АНБ, National Security Agency, NSA) — могло читать радиограммы, которыми обменивались Советская армия и органы госбезопасности и разведки Москвы, благодаря чему ААБ удалось составить полную картину ситуации в советской национальной безопасности.
Уже в июле 1946 года состоялся первый в истории Холодной войны обмен агентами. 14 июля 1946 года американцы в Берлин-Ваннзее арестовали трех сотрудников бранденбургского оперативного сектора НКВД. СВАГ передала американцам меморандум с требованием отпустить задержанных. Так как американцы не торопились это делать, начальник НКВД в СОЗ генерал-полковник Иван Александрович Серов и маршал Соколовский решили задержать нескольких американских военных, находившихся в СОЗ без соответствующего разрешения. Спустя несколько дней сотрудники советской контрразведки арестовали в 60 километрах от Берлина американского офицера Сэмюеля Харрисона. Чуть позже были задержаны капитан Кобин и лейтенант Хэйт при попытке вести наблюдение за специальным лагерем НКВД. Последующее расследование доказало, что оба офицера являются сотрудниками американской разведки. Теперь, когда уже США просили об освобождении своих офицеров, препятствий к обмену больше не было. Сначала американцам вернули Харрисона, американцы же отпустили советских офицеров. Тогда русские освободили Кобина и Хэйта.
В 1946 году произошли важные структурные реформы в аппарате безопасности в СОЗ. В марте 1946 года прежние наркоматы были переименованы в министерства. Таким образом, НКВД стал называться Министерством внутренних дел (МВД), а НКГБ — Министерством государственной безопасности (МГБ). Одновременно Сталин попытался ограничить полномочия министра внутренних дел Лаврентия Павловича Берия и его спецслужб. Вместо Берия министром внутренних дел стал Сергей Никифорович Круглов, которому Берия не доверял. В мае 1946 года один из самых близких Берия людей потерял свой пост. Всеволод Николаевич Меркулов, прежний министр госбезопасности, был сменен на своем посту бывшим шефом «Смерш» Абакумовым. Полномочия Абакумова были при этом существенно расширены Сталиным, когда 4 мая 1946 года входивший прежде в Министерство обороны «Смерш» был возвращен в структуру МГБ. Из «Смерша» было образовано Третье главное управление МГБ, которое, как и прежде, отвечало за военную контрразведку. В основных чертах эта структура МГБ не изменялась до его слияния с МВД в марте 1953 года.
В Советской оккупационной зоне в ноябре 1947 года руководство военной контрразведкой Группы советских оккупационных войск в Германии перешло в руки генерала Петра Ивановича Ивашутина, будущего многолетнего руководителя советской военной разведки ГРУ. Под его командованием структуры военной контрразведки получили дальнейшее развитие. Главным ее руководящим звеном оставалось, как уже упоминалось, Управление контрразведки при штабе Группы в Потсдаме. Помимо обычных административных отделов, батальона охраны и следственной тюрьмы в Управление входило четыре отдела. Первый отдел занимался штабной и административной работой, второй отдел отвечал за контрразведывательное обеспечение армий, дивизий и бригад Группы, а третий отдел проводил контрразведывательные мероприятия против западных разведок и «антисоветских элементов» и «предателей Родины», а также боролся с уголовными преступлениями военнослужащих. Четвертый отдел в качестве следственной части расследовал случаи шпионажа, доводя их до военного трибунала.
Генералу Ивашутину подчинялись также особые отделы контрразведки отдельных армий. Их начальникам, в свою очередь, тоже подчинялись пять отделов. Первый отдел занимался штабной и административной работой. Второй — контрразведывательным обеспечением гарнизонов и объектов снабжения армии. Третий отдел координировал контрразведывательную деятельность во входящих в армию соединениях вплоть до бригадного звена. Четвертый отдел, наконец, обеспечивал, внешнюю защиту, а следственный отдел расследовал конкретные случаи измены.
Только между 1945 и 1954 годами военной контрразведкой советских оккупационных войск в СОЗ/ГДР было арестовано несколько сотен шпионов западных спецслужб. Большая часть этих людей были немцами из СОЗ/ГДР, и подавляющее большинство их них, выполнявших задания своих английских или американских «кураторов», были задержаны в непосредственной близости от гарнизонов. Чаще всего арестованные были наблюдателями за местами дислокации советских войск, собирая информацию об их боевом порядке и боевом расписании. Они следили за советскими аэродромами, гарнизонами, полигонами, штабами, складами и обычно сообщали полученные сведения своим резидентам и оперативным офицерам в зашифрованных письмах. Во всяком случае, эта масса агентов была плохо подготовлена и легко попадала в ловушку советской контрразведки. В рамках операции «Грааль», к примеру, американская военная разведка с начала 1946 года вела сбор информации о местах дислокации советских войск в СОЗ. Для этого американцы использовали около 250 наблюдателей, прошедших лишь самый минимальный инструктаж После первоначальных успехов вся операция развалилась в конце 1946 года как карточный домик, как только советская контрразведка внедрила в среду агентов своих информаторов, после чего массово арестовала американских шпионов. Большинство агентов после короткого процесса оказались в Гулаге.
