Вскоре Роману Андреевичу пришлось заняться и другими одиозными материалами. Именно ему поручили провести следствие по делу В. С. Абакумова, бывшего министра госбезопасности СССР, инициатора так называемого ленинградского дела. Подход к нему также трудно назвать абсолютно правовым. На заседании Президиума ЦК КПСС 15 сентября 1954 года фактически было предопределено решение, утверждена судебная коллегия. На суде, начавшемся 14 декабря 1954 года, Абакумов виновным себя не признал, утверждая, что дело его сфабриковано Берией, Кобуловым и Рюминым. Тем не менее Абакумов и некоторые его соучастники были приговорены к расстрелу. Приговор был приведен в исполнение незамедлительно, Абакумову даже не дали возможности его обжаловать.
В 1955–1956 годах Руденко участвовал и в процессах над бывшими грузинскими "друзьями" Берии — Рапавой, Рухадзе, Церетели, Савицким, Кримяном, Надарил, Хазаном и Парамоновым, а также "соратником" Берии — бывшим первым секретарем ЦК Компартии Азербайджана и председателем Совета министров республики Багировым. Вместе с Багировым на скамье подсудимых оказались еще пятеро руководителей органов внутренних дел Дагестана, Армении и Азербайджана.
Однако времена менялись, и чуткий к новым веяниям Роман Андреевич начал постепенно расчищать "авгиевы конюшни" — в них фактически превратились не только органы правопорядка, но и сама законность в стране. Именно Руденко осуществил мероприятия по восстановлению в своих правах прокурорского надзора после долгих лет диктатуры и произвола. И не просто восстановлению, а созданию гарантии "социалистической законности", соответствующей духу перемен.
Он всегда подчеркивал обязательность советских законов для всех, недопустимость противопоставления законности и целесообразности, неразрывную связь законности с культурностью.
Эти идеи можно было провести в жизнь только в пределах, дозволенных руководством страны, но и в этой ситуации перемены к лучшему были хорошо заметны. Например, в центральном аппарате появилась стабильность кадров, исчезла чехарда, так мешающая работе.
Прокуроры, ранее безликие и совершенно бесправные, делались наиболее активными проводниками "социалистической законности". Слово "закон" стало наконец употребляться в связке с такими понятиями, как "справедливость", "порядочность", "честность". Началось постепенное, пока еще медленное и нерешительное исправление недостатков и преступлений сталинского времени.
Одной из причин произвола при расследовании преступлений, пусть не главной, был низкий уровень следственной работы, недостаточная квалификация следователей. Приказ Руденко "О мероприятиях по повышению квалификации следователей органов прокуратуры" от 14 октября 1953 года был одной из его первых директив. По всей стране началась учеба кадров, улучшалось техническое оснащение следствия.
После июльского (1953 года) Пленума ЦК КПСС в стране повеяло "оттепелью" и какой-то, пусть урезанной, ограниченной определенными рамками, но все же свободой. Всесильные органы внутренних дел и государственной безопасности теперь были поставлены в рамки закона и играли в жизни общества уже не ту роль, что прежде. Восстанавливались в своих правах суды и прокурорский надзор. Внесудебные расправы ликвидировались.
Вскоре после назначения Генеральным прокурором Р. А. Руденко подписал первые документы, касающиеся реабилитации лиц, невинно привлеченных к уголовной ответственности. Раньше других справедливость была восстановлена в отношении высшего командного состава Красной армии. 19 марта 1954 года Руденко, министр внутренних дел Круглов, председатель КГБ Серов и министр юстиции Горшенин направили в президиум ЦК записку с предложением образовать Центральную комиссию по пересмотру дел осужденных за "контрреволюционные преступления", содержащихся в лагерях, колониях, тюрьмах (467 946 человек) и находящихся в ссылке на поселении (62 462 человека). Кроме Центральной, предлагалось создать соответствующие комиссии в республиках, краях и областях. 4 мая 1954 года такие комиссии были образованы и вскоре приступили к работе.
Но первая кампания по пересмотру дел была довольно осторожной — примерно каждый второй из осужденных получал отказ в реабилитации. Так, поэтесса А. А. Ахматова обратилась к К. Е. Ворошилову с просьбой пересмотреть дело ее сына Льва Николаевича Гумилева, молодого ученого-востоковеда, вторично арестованного органами МГБ СССР в 1949 году и приговоренного Особым совещанием к десяти годам лишения свободы. На письме имеется резолюция Ворошилова: "Руденко Р.А. Прошу рассмотреть и помочь". Тем не менее в своей записке на имя Ворошилова Руденко сообщил, что Гумилев занимался антисоветской деятельностью, осужден правильно и что Центральная комиссия по пересмотру дел 14 июня 1954 года приняла решение отказать Ахматовой в ее ходатайстве.
И все же тенденция к расширению процесса реабилитации была очевидной. Р. А. Руденко подчеркивал: "Всем нам придется столкнуться с тем, что оценки некоторых событий и их участников, казавшиеся неизменными, нужно будет пересмотреть. Сделать это надо во имя истины, справедливости и правды истории".
Важно было также не наделать новых ошибок. 4 августа 1955 года Генеральный прокурор Союза издал приказ, который касался усиления прокурорского надзора за соблюдением законности при задержании, аресте и привлечении граждан к уголовной ответственности. Р. А. Руденко потребовал от подчиненных "ювелирной" точности при решении этих вопросов.
В приказе предписывалось применять арест в качестве меры пресечения лишь при совершении тяжких преступлений, тогда как многие прокуроры прибегали к нему по незначительным поводам. Например, прокурор одного из районов Баку за единичный случай обвеса покупателя арестовал продавщицу, на иждивении которой находилось девять человек, из них семь малолетних детей, а в Московской области районный прокурор арестовал трех подростков за кражу голубей.
В то же время Роман Андреевич активно боролся с волокитой, которую проявляли некоторые прокуроры при привлечении к ответственности лиц, совершивших тяжкие преступления.
В начале 1957 года была реформирована структура Прокуратуры СССР, а затем и прокуратур республик, краев и областей. Руководство стремилось подчеркнуть изменения, наметившиеся в правоохранительной системе, как бы показывая, что с прошлым покончено раз и навсегда. Менялось судопроизводство, уголовное, уголовно-процессуальное и даже гражданское законодательство. Прокуратура СССР и Р. А. Руденко, как ее руководитель и одновременно депутат Верховного Совета СССР, деятельно участвовали в подготовке законопроектов, обсуждая и шлифуя каждую статью новых нормативных актов.
