3 января 1939 года Прокурор Союза ССР А. Я. Вышинский в письме на имя секретаря ЦК ВКП(б) Маленкова подтвердил свое предложение об утверждении Панкратьева в должности прокурора республики, охарактеризовав его как опытного работника, политически твердого и устойчивого. Прокурором республики М. И. Панкратьев работал в течение года. За это время он стал депутатом Верховного Совета РСФСР, ревностно выполнял все директивы партии и правительства, а также указания и распоряжения Вышинского. Последний рекомендовал его на свое место после того, как стал заместителем Председателя Совнаркома СССР. Правда, особого выбора у него и не было, так как после основательных чисток кадры органов прокуратуры серьезно оскудели.
31 мая 1939 года Панкратьев занял кабинет Прокурора Союза ССР в здании на Пушкинской улице. На высоком посту он пробыл немногим более года. Первая жена Панкратьева Ольга Сергеевна рассказывала: "Михаила назначили на эту должность в страшное время, шли аресты и расстрелы людей, занимавших высокие посты. Телефон в нашей квартире на Ленинском проспекте звонил не умолкая, хоть совсем его срезай, да нельзя. По сто раз на дню: "Помогите с Михаилом Ивановичем встретиться, умоляю!" Мне было запрещено отвечать, и я молча вешала трубку. Все равно повлиять на мужа никак не могла. Бакинский прокурор, с которым когда-то жили в одном доме, был арестован. Его жена все время искала со мной встречи. Я жалела ее, рассказывала мужу, как она убивается, спрашивала, можно ли ей помочь. Михаил закрыл эту тему раз и навсегда. Говорить дома о его работе было запрещено… С какого-то времени Михаил стал просить, чтобы в доме был коньяк, чтоб, когда он придет с работы, бутылка стояла. Так всю ночь, бывало, за бутылкой и просидит. А когда я забывала поставить, сердился: "Ты пойми, Оля, мне хоть рюмочку, но обязательно надо выпить". Сколько санкций на арест и расстрел ему приходилось подписывать! Неимоверное количество! Он много подписывал, но и на пересмотр много отсылал. Не терпел никакой неясности. Когда его секретарь спрашивала, что делать с неподписанными доносами и жалобами, которые шли мешками, орал: "Рвать, не читая!" Анонимки приводили мужа в ярость, его трясло. А как еще прикажете реагировать, когда от твоей подписи зависит столько жизней? У него голова шла кругом".
За то непродолжительное время, в течение которого Панкратьев возглавлял Прокуратуру Союза ССР, он сумел провести целый ряд мероприятий, направленных на активизацию прокурорского надзора на всех важнейших участках работы. В отличие от своего предшественника А. Я. Вышинского, часто пускавшего пыль в глаза, делавшего ставку на раскручивание помпезных политических процессов, новый Прокурор Союза занимался в основном будничной работой органов прокуратуры, его деятельность не была столь броской и эффектной, поэтому с первых же дней вызвала нарекания у высшего руководства. Вскоре после его назначения Комиссия партийного контроля при ЦК ВКП(б) проверила работу Прокуратуры СССР по рассмотрению жалоб, направленных из партийных органов, и нашла ее крайне запущенной. И хотя было совершенно очевидно, что все недостатки следовало отнести на счет бывшего Прокурора Союза ССР Вышинского, тем не менее в июле 1939 года было принято решение указать Прокурору СССР Панкратьеву на то, что он "не принял до сих пор мер к ликвидации преступного отношения некоторых работников прокуратуры к жалобам и заявлениям" и проявил "медлительность в наведении порядка в работе аппарата Прокуратуры СССР".
Выступая на Всесоюзной конференции лучших следователей, Панкратьев сказал: "Живя в капиталистическом окружении, чувствуя и осязая это окружение, мы должны всегда иметь в виду, что враг оружия не сложил. Он только меняет формы и методы борьбы. Естественно, что наши органы следствия, призванные прежде всего к борьбе с вражеской работой, не могут, не имеют права застывать как в смысле своей политической подготовки, так и в смысле профессиональных знаний и опыта. Наши следственные органы должны быть остро отточенным оружием, крепко закаленным, метко разящим".
После многочисленных ссылок на высказывания И. В. Сталина Прокурор Союза ССР Панкратьев перешел к анализу состояния следствия. Результаты были неутешительные. Около 20 процентов дел прекращалось как "неосновательно возбужденные", многие возвращались на дополнительное расследование, сроки следствия грубо нарушались. Одной из причин такого положения, по мнению Панкратьева, являлось то, что "враги народа пытались, и порой небезуспешно, использовать в своих контрреволюционных целях наш прокурорский аппарат, хотя бы тем, что засыпали органы прокуратуры колоссальным количеством материалов, требуя по ним судебных процессов. А некоторые наши работники… оказывались на поводу у врага и объективно, а кое-кто и субъективно, помогали избивать кадры". Затем Панкратьев заметил, что все еще слаба организационная работа, плохо обстоит дело с обеспечением следователей методическими пособиями. Районные прокуроры редко включаются в руководство следствием, предпочитая заседать в исполкомах и комиссиях.
М. И. Панкратьев обратил внимание на важность соблюдения процессуальных норм. В связи с этим он вспомнил о судебном процессе над некоторыми смоленскими работниками прокуратуры и суда, которые полностью пренебрегали процессуальными нормами. Доходило до того, что в постановлении о возбуждении дела не указывалась даже фамилия лица, совершившего преступление. Дела направлялись в суд при отсутствии каких-либо объективных доказательств. Панкратьев сказал: "Были случаи, когда судебные приговоры признавали людей виновными в контрреволюционных преступлениях, в то время как обвинительное заключение им таких обвинений не предъявляло и на суде это доказано не было".
В 1939 году под редакцией Панкратьева было издано и направлено подчиненным прокурорам методическое письмо "О квалификации преступлений", особое внимание в нем уделялось правильной квалификации посягательств на социалистическую собственность, должностных преступлений, спекуляции, хулиганства.
Вопросы состояния следствия в то время широко обсуждались на страницах журнала "Социалистическая законность". В статье "Уголовно-судебные доказательства и следственная практика", опубликованной в № 8–9 за 1939 год, В. Громов писал: "Всесоюзная конференция лучших следователей, созванная Прокуратурой СССР в июне 1939 года, показала, что среди наших следователей имеется уже группа таких работников, которые способны раскрывать самые запутанные, самые сложные дела. Повышение за последнее время качества расследования — факт бесспорный. Но не нужно забывать, что в общей массе рядовых следственно-прокурорских работников еще немало и таких, которые не обладают ни достаточным опытом, ни знаниями и не гарантированы от крупных, а иногда и непоправимых ошибок при производстве следствия".