Выступивший вслед за ним председатель Военной коллегии В. В. Ульрих назвал Рычкова одним из лучших членов коллегии.
Он не согласился с оценкой Васильева-Южина, что осуждение машиниста к расстрелу — судебная ошибка, так как тот, по его словам, был в самом деле виноват. Комиссия постановила: "Рычкова Н. М. считать проверенным".
Служба в органах военной юстиции принесла Н. М. Рычкову ряд наград. В 1928 году Реввоенсоветом республики он был награжден именными серебряными часами, а в 1933 году — золотыми. 20 августа 1937 года "за образцовое выполнение задания правительства" удостоен высшей награды — ордена Ленина.
К тому времени Николай Михайлович был женат на дочери профессионального революционера, Ариадне Михайловне Морозовой. Его жена работала врачом-педиатром в клинике МГУ (после войны она была сотрудником Московского городского отдела здравоохранения). У Рычкова было четверо детей: сыновья Виктор, Юрий и Борис и дочь Наталья.
28 августа 1937 года приказом Прокурора Союза ССР Вышинского Николай Михайлович Рычков был назначен прокурором республики. Пробыл он на этом посту всего пять месяцев. Когда он пришел в прокуратуру республики, то обнаружил, что в ряде важнейших участков центрального аппарата "положение было катастрофическим", особенно в отделе жалоб — там без всякого движения лежали, большей частью в мешках, почти 20 тысяч жалоб и заявлений граждан, "вплоть до личных, интимного порядка, писем помощников прокурора". Оперативные отделы их почти не рассматривали. Еще более удручающее положение сложилось в областных прокуратурах. Служебная дисциплина была низкой. На запросы прокуратуры республики местные прокуроры, по существу, не реагировали. Н. М. Рычков стал вызывать к себе прокуроров областей для личных объяснений. К январю 1938 года Николаю Михайловичу удалось решительно перестроить всю работу по рассмотрению жалоб — теперь в Прокуратуре РСФСР вместо 20 тысяч остались нерассмотренными всего 650 первичных и повторных заявлений.
12—19 января 1938 года в Москве состоялась 1-я сессия Верховного Совета СССР. После уничижительной критики наркома юстиции СССР Н. В. Крыленко, прозвучавшей в речи депутата Багирова, всем стало ясно, что удача на этот раз улыбнулась Рычкову. 19 января на третьем, заключительном совместном заседании Совета Союза и Совета Национальностей выступил В. М. Молотов с речью об образовании нового правительства СССР. Перечисляя его состав, он просил депутатов утвердить народным комиссаром юстиции СССР Николая Михайловича Рычкова.
За время своей работы в Народном комиссариате юстиции СССР Н. М. Рычков совместно с Прокурором Союза ССР подписал целый ряд приказов, направленных на усиление борьбы с преступностью, — все они свидетельствуют о чрезвычайной жесткости проводимой тогда политики. Так, в июле 1940 года совместно с М. И. Панкратьевым он направил на места приказ, в соответствии с которым рабочие и служащие, допустившие опоздания без уважительных причин более чем на двадцать минут после обеденного перерыва или самовольный уход с работы ранее чем за двадцать минут до обеденного перерыва, подлежали привлечению к уголовной ответственности как за прогул (по части 2-й статьи 5-й Указа Президиума Верховного Совета СССР от 26 июня 1940 года).
Стоит напомнить, что спрос с работников органов прокуратуры и юстиции, а также судей за неукоснительное выполнение приказов был тогда самый строгий. Любые послабления в карательной практике могли повлечь за собой не только отрешение "провинившегося" от занимаемой должности, но и предание его суду. В августе 1940 года коллегия Наркомюста СССР под председательством Рычкова дважды рассматривала вопросы применения указа от 26 июня 1940 года. Несколько судей, проявивших либерализм в отношении "прогульщиков", сами были отданы под суд. Был уволен нарком юстиции Белорусской ССР, который отказался привлекать к ответственности за прогулы временных и сезонных работников, полагая, что действие указа распространяется только на лиц, постоянно работающих на производстве. Рычков строго предупредил также наркомов юстиции Украины, Узбекистана и Азербайджана.
С началом Великой Отечественной войны наркому юстиции СССР Н. М. Рычкову пришлось работать особенно напряженно. Он направил на места множество указаний и приказов, обращая особое внимание на наведение порядка в исполнении судебных решений, необходимость чуткого отношения к обращениям военнослужащих и членов их семей. В экстренном порядке был подготовлен сборник законодательных актов о пособиях, пенсиях и льготах семьям военнослужащих рядового и начальствующего состава. В одном из своих приказов от
29 июня 1941 года Рычков отмечал, что в эти трудные для всей страны дни "прямым преступлением является волокита, бюрократизм при рассмотрении уголовных и гражданских дел". В другом приказе он обращал внимание на то, что "ни на один день ни один участок народного суда не должен оставаться без народного судьи". Начальники управлений Наркомюста и наркомы юстиции союзных республик должны были лично "ежедневно и ежечасно" решать вопросы укомплектования судов.
Пост наркома (а с 1946 года — министра) юстиции СССР Н. М. Рычков занимал десять лет. За это время он дважды был награжден орденом Ленина, двумя орденами Красного Знамени. Был избран депутатом Верховного Совета РСФСР 1-го созыва (в 1938 году) и депутатом Верховного Совета СССР 2-го созыва (в 1946 году). 28 августа 1944 года ему присвоили воинское звание генерал-лейтенанта юстиции.
"Придирки" к Н. М. Рычкову начались сразу же после окончания Великой Отечественной войны. Вначале он получил выговор от Секретариата ЦК ВКП(б) за назначение людей на должности председателей военных трибуналов без предварительного согласования с ЦК партии.
В декабре 1946 года заместитель начальника управления кадров ЦК ВКП(б) Никитин и заместитель заведующего отделом этого же управления Бакакин направили на имя секретаря ЦК ВКП(б) А. А. Кузнецова большую записку "О неправильном стиле руководства министра юстиции Союза ССР тов. Рычкова Н. М.". В ней Николай Михайлович обвинялся чуть ли не в полном развале всей работы Министерства юстиции. На него возлагалась также ответственность за создание "специальных судов" (их было тогда в стране 887), которые по своей численности уже стояли на втором месте после народных судов, и за нарушения, допускавшиеся судьями.
Авторы записки делали следующий вывод: "Считаем, что т. Рычкова в интересах дела надо очень серьезно предупредить, иначе он, а вместе с ним и Министерство юстиции СССР и его органы на местах по-прежнему будут не выполнять те требования, которые к ним предъявляются Партией и Правительством". Вскоре к служебным неурядицам добавились и личные. Комитет партийного контроля при ЦК ВКП(б) объявил ему выговор за незаконное расходование на строительство личной дачи денежных средств и стройматериалов, принадлежащих министерству.
