Рогинский был непосредственно причастен к гибели многих людей, чьи обвинительные заключения он так бесстрастно утверждал. Среди них немало прокурорских работников, в том числе первый Прокурор Союза ССР И. А. Акулов, и. о. прокурора республики Ф. Е. Нюрина, прокурор республики, нарком юстиции РСФСР и СССР Н. В. Крыленко — бывший благодетель Рогинского и прочие. Современники вспоминают, что, направляя в суд дела в отношении бывших соратников, Г. К. Рогинский, неуверенный и в собственной безопасности, был "неспокоен за себя и делал все возможное, чтобы заручиться поддержкой и доверием со стороны работников НКВД". Например, Рогинский присутствовал на казни И. А. Акулова вместе с заместителем наркома внутренних дел Фриновским. Когда Акулов сказал: "Ведь вы же знаете, что я не виноват", Рогинский стал осыпать бывшего Прокурора Союза ССР бранью. Позже он признавался, что далеко не убежден в действительной виновности Акулова.
У Рогинского были веские основания опасаться за свою судьбу — Вышинский мог сдать его органам НКВД в любое время, что он и сделал 25 мая 1939 года, направив лично начальнику следственной части НКВД СССР Кобулову строго секретное письмо.
Там сообщалось, что в уголовном деле бывших судебных и прокурорских работников Красноярского края имеются данные 0 принадлежности Рогинского к контрреволюционной организации, якобы существующей в органах прокуратуры, и приложены были протоколы допросов. Кобулов передал эти материалы для проверки своему заместителю Влодзимирскому.
Однако до ухода Вышинского из Прокуратуры Союза ССР Рогинский продолжал выполнять свои обязанности. Дамоклов меч опустился только в августе 1939 года — новый Прокурор Союза ССР Панкратьев нашел уважительную причину для увольнения Рогинского. В приказе было написано следующее: "За преступное отношение к жалобам и заявлениям, поступающим в Прокуратуру Союза ССР, тов. Рогинского Григория Константиновича, несущего непосредственную ответственность за работу аппарата по жалобам и заявлениям, снять с работы заместителя Прокурора Союза ССР". На самом же деле причиной увольнения были не жалобы, а некий мифический "заговор прокуроров", в котором будто бы участвовал и Рогинский. Ирония судьбы — ведь многих он сам отправлял под суд именно по такому же подозрению.
Почти месяц после увольнения Рогинского не трогали. Он жил в Москве, в Старопименовском переулке, вместе с женой Ириной Михайловной и восемнадцатилетним сыном Семеном.
5 сентября 1939 года за ним все-таки пришли. Постановление на арест вынес помощник начальника следственной части НКВД СССР Голованов, завизировал его Кобулов, а утвердил нарком внутренних дел Берия. Санкцию на арест дал Прокурор Союза ССР Панкратьев (он и Берия сделали это задним числом, только 7 сентября). В постановлении отмечалось, что "имеющимися в НКВД материалами Рогинский Г. К. достаточно изобличается как один из руководящих участников антисоветской правотроцкистской организации, существовавшей в органах прокуратуры".
В отличие от многих политических дел того времени, трагическая развязка которых наступала очень быстро, дело Г. К. Рогинского расследовалось почти два года. Сначала он держался стойко и категорически отрицал какую-либо причастность к антисоветским организациям. Но, судя по всему, на него все время оказывалось жестокое психологическое давление — Григорий Константинович стал проявлять в тюрьме "истерические реакции", что выражалось в плаксивости и боязни ложиться в кровать из-за того, что на него якобы "падают стены и он проваливается в пропасть". В начале января 1940 года Рогинский был осмотрен врачами, и те констатировали: "Душевной болезнью не страдает, но обнаруживает ряд навязчивых ярких представлений неприятного характера, связанных со сложившейся для него ситуацией".
17 января 1940 года состоялась очная ставка Рогинского с одним из основных его "разоблачителей", бывшим прокурором Приморской области А. А. Любимовым-Гуревичем. Григорий Константинович назвал эти показания "ложью и клеветой". Но в тот же день, устав от бесплодной борьбы, он пишет письмо на имя Берии. "Настоящим заявляю, что прекращаю сопротивление следствию и стану на путь признания своей заговорщической работы против Советской власти. Подробные показания дам на следующих допросах. Я должен собраться с мыслями и вспомнить все подробности вражеской работы, как своей, так и своих сообщников". Спустя два дня на этом заявлении появилась резолюция Кобулова: "Т. Сергиенко. Допросить срочно и подробно Рогинского и доложить".
По всей видимости, своим письмом Рогинский хотел добиться небольшой передышки, а вовсе не имел намерения давать развернутые признательные показания — во всяком случае, их в деле нет. А вот в протоколе допроса от 9 марта 1940 года записано: "Участником антисоветской правотроцкистской организации я никогда не был, поэтому виновным себя в предъявленном мне обвинении я не признаю. Я признаю себя виновным лишь в том, что, работая заместителем Прокурора Союза ССР, я вместе с другими лицами допустил в своей работе рад преступных, по существу, антисоветских действий, за которые я должен нести уголовную ответственность".
Далее произошел следующий характерный диалог со следователем:
Вопрос. В чем же конкретно заключалась ваша антисоветская деятельность в Прокуратуре СССР?
Ответ. Я сейчас не могу дисциплинировать свои мысли для того, чтобы рассказать о всей своей работе. Мне нужно изменить обстановку, тогда я расскажу все о своей преступной деятельности.
Вопрос. Что же вы хотите, выпустить вас на свободу?
Ответ. Я прошу, чтобы меня из внутренней тюрьмы НКВД перевели в другую тюрьму с более облегченным режимом, и тогда я начну давать показания о всей своей преступной работе.
Вопрос. Рогинский, вы государственный преступник, и вам надлежит говорить на следствии не об облегчении тюремного режима, а о своих вражеских делах. Прекратите крутиться и приступайте к показаниям.
Ответ. Прошу мне изменить тюремные условия. Я не в состоянии рассказывать следствию о своих преступлениях.
Вопрос. До сих пор упорно не желаете давать показания, ссылаясь на свое нервное расстройство. Прекратите свои увертки и говорите правду о ваших враждебных делах.
Ответ. Я уже говорил, что при таком психическом состоянии, в котором я сейчас нахожусь, я не могу давать показания о своих преступлениях.
Вопрос. Из имеющегося у следствия акта психиатрической экспертизы видно, что ваше нервное расстройство — сплошная симуляция. Не валяйте дурака, а приступайте немедленно к показаниям.
Ответ. Я не симулянт. Все мои мысли направлены к тому, чтобы дисциплинировать себя и приступить к показаниям о своей преступной работе. Но я не могу взять себя в руки.