Родился Успенский в Тульской губернии в семье лесника. Окончил два класса духовного училища в Туле. В органы ВЧК пришел в 1920 году на должность уездного секретного уполномоченного ЧК. Затем работал в органах ВЧК Тулы, Урала, Московской области. Судьба баловала чекиста Успенского. В молодом возрасте, в 25 лет, он уже стал начальником экономического отдела ОГПУ по Уралу, в 1931 году был переведен на аналогичную должность в ГПУ Московской области. В столице он сумел сблизиться со многими руководителями подразделений центрального аппарата, которые способствовали его дальнейшему росту по службе. В 1935 году Успенский — заместитель коменданта Московского Кремля по внутренней охране.
Когда в 1937 году арестовали наркома СССР Ягоду, Успенский не без успеха начал выдавать себя за жертву, пострадавшую от беззакония последнего. На самом деле «пострадавший» — типичный представитель ежовской гвардии. Он пользовался расположением наркома Ежова и не раз доказывал ему свою преданность, выполняя деликатные поручения большой важности. Так, в марте 1937 года перед назначением начальником управления НКВД Оренбургской области Ежов в доверительном разговоре поставил перед ним задачу: «Не считаясь с жертвами, нанести полный оперативный удар по местным кадрам. Да, могут быть и случайности. Но лес рубят — щепки летят. Имей в виду, в практике НКВД это неизбежно. Главное, что требуется от тебя, это показать эффективность своей работы, блеснуть внушительной цифрой арестов». И Успенский с особым рвением проводил репрессии, что отметили в самом Кремле. В Оренбурге было сфальсифицирован ряд громких политических дел, в их числе дело о мифической белогвардейской организации, имевшей войсковую структуру. За пять месяцев его «работы» в небольшой по численности населения области было арестовано свыше трех тысяч человек, из них половина расстреляна.
В 1937 году Оренбург посетил секретарь ЦК Андрей Жданов, которому показалось, что в этой области арестов «врагов народа» проводится недостаточно, о чем он телеграфировал Сталину. Волна репрессий в этой крестьянской, далекой от революционных потрясений области усилилась: только по спискам Успенского было дополнительно арестовано еще около 600 человек во главе с первым секретарем обкома ВКП(б) Митрофановым.
В связи с назначением на ответственную должность наркома внутренних дел Украинской ССР Успенского пригласили на беседу к И. Сталину. Вождь прежде всего поинтересовался прошлыми отношениями Успенского с арестованным «врагом народа» Ягодой. Успенский клялся в чистоте перед коммунистической партией, органами безопасности, а бывший нарком Ягода, дескать, ему не всегда доверял и даже подвергал травле. Сталин пожелал успехов в руководстве органами безопасности Украины.
Нарком внутренних дел Ежов порадовался за своего выдвиженца. «Теперь можно ничего не бояться. Тебе доверяет сам товарищ Сталин», — наставлял он новоиспеченного руководителя органов госбезопасности Украины. Вместе с бригадой сотрудников центрального аппарата НКВД Ежов выехал в Киев для представления украинским чекистам своего ставленника. В последующем Успенский так охарактеризовал визит Ежова в столицу республики: «В Киеве каждый из этой бригады занимался тем, что подбирал материалы для арестов, причем материалы тут же докладывались Ежову и тот в пьяном виде, не читая и даже не ознакомившись с краткими справками, санкционировал аресты. Особенно отличался в этом отношении Листенгурт (в феврале — апреле 1938 года исполняющий обязанности начальника особого отдела НКВД Украины), который ставил перед Ежовым вопрос об аресте военных… Тогда же я получил от Ежова санкцию на арест 36 тысяч человек с правом судить их решением тройки НКВД Украины». Как известно, на Украине продолжались массовые репрессии, а тут нарком Успенский получает такой подарок — карт-бланш на аресты и расстрелы от самого Ежова. Успенский не преминул этим воспользоваться, масштабы репрессий при нем все увеличивались. Этот период характеризуется резким ужесточением карательной политики, когда почти все арестованные приговаривались к высшей мере наказания.
Новый нарком начал с разоблачения «антисоветского заговора в НКВД Украины» во главе с бывшим наркомом Леплевским. Я знакомился с архивными документами, из которых было видно, что НКВД Украинской ССР в своих докладах в 1938 году в Москву указывал на «коренной перелом в разгроме вражеских формирований и троцкистского подполья на Украине, который состоялся на основе непосредственных указаний наркома внутренних дел СССР Ежова по устранению антисоветского подполья, данных им во время приезда на Украину (февраль) и под руководством секретаря ЦК КП(б) УССР Н. С. Хрущева».
В январе 1938 года, одновременно с назначением Успенского, первым секретарем ЦК КП Украины туда был направлен Хрущев. Согласно его опубликованным воспоминаниям, ехал без желания, просил Сталина не посылать его в эту республику: «не подготовлен, чтобы занять такой пост», к тому же существует национальный вопрос, «я — русский, говорить на украинском совсем не могу, а это тоже имеет большой минус». При отъезде Хрущев просил подобрать в Москве несколько лиц украинской национальности на руководящие должности, что было необходимо, так как «на Украине из-за арестов сейчас нет ни одного председателя облисполкома и даже председателя Совнаркома (есть его первый заместитель), нет заведующих отделами обкомов и горкомов партии, а в ЦК КП(б)У — ни одного заведующего отделом».
На Украине была уничтожена вся верхушка руководящих кадров в «несколько этажей», как образно оценивал Хрущев политическую обстановку в республике. Кадры менялись и вновь арестовывались и уничтожались; особой расправе подвергалась украинская интеллигенция.
Успенский поставил вопрос об аресте известного поэта Рыльского, которого обвиняли в национализме и возвели в ранг «врагов народа». Хрущев якобы возражал: «Какой он националист, он просто украинец и отражает украинские национальные настроения».
Возлагая в последующем вину за репрессии и свои прегрешения в этом на Сталина, Хрущев забывает упомянуть, что период его руководства на Украине республиканской партийной организацией отмечен волной усилившихся репрессий. При нем стали выкашивать авторитетных руководителей республики, государственных и партийных работников различных рангов. На время его пребывания в республике приходится пик арестов видных военачальников. Так, в июне 1938 года Хрущев отмечал, что «состав Политбюро ЦК ВКП(б) Украины почти весь, за исключением единиц, оказался вражеским». Во время приезда Ежова Хрущев заверял: «Мы врагов доконаем на Украине».