Среди ближайшего окружения Леплевского распространялись слухи о том, что основная заслуга в разгроме контрреволюционных сил на Украине в годы Гражданской войны принадлежит именно Леплевскому благодаря его профессионализму и оперативности. Когда об этом стало известно Балицкому, он не стал делить лавры и успехи со своим заместителем, а способствовал выдвижению Леплевского на самостоятельную должность — наркома внутренних дел Белоруссии. В некоторых печатных источниках содержится упоминание о якобы сделанном им заявлении при отъезде из Киева: «Я еще сюда вернусь и рассчитаюсь со всеми».
В 1931 году Леплевский был переведен в Москву, в центральный аппарат, где семь месяцев возглавлял особые отделы Главного управления госбезопасности НКВД. Именно под его непосредственным руководством и с его участием военные контрразведчики чинили расправы над известными со времен Гражданской войны военачальниками — Тухачевским, Якиром, Корком, Уборевичем и другими. Сослуживцы вспоминали, как Якира привели в кабинет начальника военной контрразведки Леплевского. Он вошел в военной форме, а из кабинета был выведен без ремня, петлиц, избитым и в разорванной гимнастерке. Под руководством Леплевского у командующего Киевским военным округом командарма 1 ранга Якира были выбиты показания, свидетельствующие о том, что Балицкий являлся участником антисоветского заговора.
Как участники антисоветских троцкистских организаций были арестованы 21 комкор, 37 комдивов, 29 комбригов, 7 дивизионных комиссаров и т. д. — около тысячи высших командиров и политработников.
С первых же дней назначения наркомом Леплевский стал требовать увеличения арестов военнослужащих, усилил расправу над партийными и советскими работниками, сотрудниками центрального, областных аппаратов НКВД Украины. Верных себе сотрудников он наставлял: «Следует действовать более решительно. Для вас не должны существовать никакие директивы, кроме моих».
На пленуме ЦК КП(б)У по докладу Леплевского отмечалось, что органы НКВД на протяжении нескольких лет проявляли бездеятельность. В результате многие руководители НКВД, старые чекисты, были выведены из состава партийных органов КП(б)У, из обкомов партии и в последующем арестованы.
О своем исключении из состава ЦК и готовящемся аресте узнал начальник управления НКВД по Харьковской области комиссар госбезопасности 3 ранга С. Мазо и покончил жизнь самоубийством. В его рабочем кабинете была обнаружена записка коллегам: «Товарищи, одумайтесь! Куда ведет такая линия арестов да выбивания у обвиняемых показаний?»
Не выдержал массовых репрессий на Украине и личных обвинений в участии в националистической организации председатель Совнаркома Украины Панас Петрович Любченко. Он покончил жизнь самоубийством, застрелив при этом и свою жену. (Черные страницы истории как бы повторяются, когда вспоминаешь, как в 1991 году после ГКЧП подобная участь постигла Бориса Карловича Пуго, бывшего председателя КГБ Латвийской ССР, министра внутренних дел СССР, и его супруги.)
В соответствии с указанием НКВД СССР от 30 января 1937 года категория лиц, подлежащих репрессиям на Украине, значительно увеличилась за счет членов антибольшевистских партий, прежних царских чиновников, жандармов, участников казацко-белогвардейских повстанческих организаций, сектантских и церковных активистов, а также уголовников, бандитов, воров-рецидивистов. В 1937 году в органы НКВД поступила телеграмма наркома Ежова, согласно которой подлежали аресту и расстрелу через «тройки» кулаки и уголовные преступники, бежавшие из лагерей или ссылок. Для НКВД Украины устанавливался лимит на арест 28 800 граждан (к расстрелу — 8000).
По личной просьбе Леплевского лимит на расстрел был увеличен на 4200 человек. Руководство НКВД Украины, как всегда, шло с опережением.
11 августа 1937 года Ежов издал указание, в соответствии с которым на Украине была проведена этническая чистка лиц польской национальности, обвинявшихся в сотрудничестве с польской разведкой, в шпионской, террористической и фашистско-повстанческой деятельности. Я знакомился с некоторыми подобными делами по арестам поляков в Житомирской области. С применением физического воздействия обвиняемые лица признавались в связях с польской разведкой, подготовке подрывов мостов в случае войны и т. д. Обычно один подозреваемый под пытками признавался, затем оговаривал своих знакомых или односельчан, и те подпадали под каток репрессий.
20 декабря 1937 года отмечалась 20-я годовщина органов государственной безопасности. В газетах воспевался «великий всенародный праздник», публиковались приветствия чекистам Украины, «которые под руководством товарища Леплевского разгромили контрреволюционные, правотроцкистские и националистические гнезда наемников фашизма». В приветственном слове чекистам Косиор произнес: «Я не знаю, какое сердце честного советского гражданина не пылает любовью к Народному комиссариату внутренних дел, к их славным работникам».
Однако к концу 1937 года от ряда сотрудников поступили заявления о том, что Леплевский в 1920-х годах защищал платформу Троцкого, был карьеристом, дружил с врагом народа Балицким. По утверждению Ежова, Леплевский утратил доверие ЦК партии большевиков за свои грубые действия, так как его работа носила бессистемный характер и «ударяла по одиночкам». И это обвинение предъявлялось человеку, при котором аресты граждан в республике увеличились по сравнению с временами Балицкого более чем в три раза.
В апреле 1938 года Леплевского арестовали по тем же кошмарным обвинениям, которые он сам предъявлял сотням и тысячам: его обвинили в участии в антисоветской троцкистской организации, сделали из него руководителя враждебного «заговора НКВД в Украине». 28 июля того же года Военной коллегией Верховного суда СССР И. Леплевский приговорен к высшей мере наказания и расстрелян. Не реабилитирован. Вместе с ним погибли его ближайшие соратники-чекисты по службе в Киеве и Москве.
В это же время продолжались репрессии среди руководящего состава НКВД. В мае 1938 года покончил жизнь самоубийством начальник УНКВД по Московской области В. Каруцкий. Атмосфера в столичном органе госбезопасности была такова, что только за один 1938 год сменилось шесть начальников Московского управления.
В начале 1938 года на должность наркома внутренних дел Украинской ССР Ежов рекомендовал Александра Ивановича Успенского. В отличие от предшественников — Балицкого и Леплевского — он ранее не имел какого-либо отношения к республике.
