Будущий прокурор узнал о новом назначении совершенно неожиданно — он отдыхал с семьей в санатории "Мухалатка" в Крыму, туда и пришла правительственная телеграмма, подписанная Сталиным, Калининым и Молотовым.
17 декабря 1933 года ЦИК и СНК СССР приняли исключительно важный законодательный акт — "Положение о Прокуратуре Союза ССР", над которым Акулов работал лично. Этим же постановлением была упразднена Прокуратура Верховного суда СССР. Свою первоначальную функцию она выполнила, и теперь требовался другой орган, более мобильный и оперативный, способный сцементировать всю прокурорскую систему. Положение устанавливало, что Прокурор Союза ССР назначается ЦИК СССР, а его заместитель утверждается Президиумом ЦИК СССР. Прокурор Союза ССР отвечал только перед Совнаркомом СССР, ЦИК СССР — и его Президиумом.
Отличительной чертой Акулова, проявившейся на этом посту, была удивительная простота в общении как со своими подчиненными, так и с многочисленными посетителями. Укреплению связей работников прокуратуры с населением он уделял особое внимание. С первых же дней в Прокуратуре Союза ССР был налажен четкий порядок приема граждан и рассмотрения их жалоб и заявлений. Обязанность вести прием посетителей он возложил на всех сотрудников, а не только на тех, кто работал в приемной, причем на свой личный контроль брал наиболее важные жалобы, в которых сообщалось о грубых нарушениях законности.
Но в марте 1934 года И. А. Акулов издал неожиданный приказ "О перестройке аппарата прокуратуры в центре и на местах". Видимо, если бы он был более сведущим в прокурорской деятельности, он не стал бы так резко разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру, построенную по функциональному принципу. Теперь же отделы перестраивались по производственному и территориально-производственному принципу, что, по мнению руководства Прокуратуры Союза ССР, должно было обеспечить "высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности" во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную работу.
Для того чтобы сосредоточить "основное внимание органов прокуратуры на судебно-следственной деятельности", решено было ликвидировать разделение на общий и судебный надзор, а также упразднить бюро жалоб. Предполагалось, что каждый отдел будет решать весь комплекс задач, стоящих перед органами прокуратуры, начиная с разрешения жалоб и заканчивая надзором за рассмотрением судебных дел. Поэтому вместо отделов были образованы сектора по делам промышленности, сельского хозяйства, торговли, кооперации, финансов и прочего.
Сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее водной), прокуратура по спецделам, сектор надзора за местами лишения свободы и управление делами.
Как и следовало ожидать, новая структура прокуратуры оказалась неудачной. Искусственное разделение по производственному принципу желаемых результатов не дало, и менее чем через три года (при Прокуроре Союза ССР А. Я. Вышинском) органы прокуратуры вновь перешли на работу по функциональному принципу, который, немного видоизменившись, сохранился и по сей день.
Неоценимую роль в деле дальнейшей централизации органов прокуратуры сыграло 1-е Всесоюзное совещание судебных и прокурорских работников, открывшееся 23 апреля 1934 года. Доклад "Решения XVII партсъезда и задачи органов юстиции" сделал Прокурор Союза ССР И. А. Акулов. В этом полуторачасовом выступлении он остановился на всех актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание участников совещания на целый ряд "недочетов и извращений" и предложив конкретные меры по их устранению. Как писала тогда пресса, "докладчик говорил просто, без малейшей погони за вычурной красной фразой".
В руководстве работой прокуратуры на местах И. А. Акулов проявлял большую оперативность и требовал того же от своих подчиненных. Он был рьяным противником "бумажного руководства", очень быстро подмечал самые слабые звенья в работе, на которые всегда остро реагировал. Чтобы наиболее важные решения вырабатывались коллективно, Акулов организовал в прокуратуре так называемое оперативное совещание, прообраз будущей коллегии, порядок работы которого определялся специальным приказом.
При И. А. Акулове Прокуратурой СССР был учрежден собственный журнал "За социалистическую законность" (позже он назывался "Социалистическая законность", а сейчас — "Законность"). Первый номер был подписан в печать в конце января 1934 года. Его ответственным редактором стал сам Акулов.
1 декабря 1934 года происходит трагическое событие — в Смольном револьверным выстрелом убит член Президиума ЦИК СССР и Политбюро ЦК ВКП(б), секретарь Центрального и Ленинградского областного комитетов ВКП(б) Сергей Миронович Киров. Его убийца Л. В. Николаев задержан на месте преступления.
Расследование этого дела — одна из самых темных страниц истории советской прокуратуры. Прокурор Союза ССР И. А. Акулов оказался в полной зависимости от работников НКВД, которые разрабатывали только одну версию убийства — ту, которую выдвинул И. В. Сталин. Прокурор не только не мог противодействовать незаконным методам ведения следствия, но и фактически сам потворствовал нарушителям законности. Формально Акулов, его заместитель Вышинский и следователь Шейнин допрашивали обвиняемых, но это выглядело фарсом — допросы сводились лишь к оформлению заранее "выбитых" показаний.
Трагедия пришлась как нельзя кстати — она развязала руки властям, по всей стране начались массовые репрессии. Чтобы хоть формально не нарушать строгие рамки законности, требовалось совсем немногое — изменить сам закон, что и было немедленно сделано. Подготовить соответствующий документ Сталин распорядился сразу же, в день убийства Кирова. На следующий день уже было опубликовано постановление, принятое ЦИК СССР 1 декабря 1934 года, "О внесении изменений в уголовно-процессуальное законодательство", подписанное М. И. Калининым и А. С. Енукидзе. Сам текст был написан наркомом внутренних дел Г. Г. Ягодой и лично отредактирован Сталиным. Новый закон явился предельно кратким, жестким и беспощадным. Он устанавливал, что по делам о террористических актах следствие должно вестись не более десяти дней, а обвинительное заключение — вручаться за сутки до рассмотрения дела в суде. Дела эти слушались без участия сторон, то есть без прокурора и адвоката, по ним не допускались ни кассационное обжалование, ни подача ходатайства о помиловании. Приговор к высшей мере наказания приводился в исполнение немедленно. Это значило, что подсудимый полностью отдавался в руки судей, решавших его судьбу, судьи же целиком зависели от властей. Судебную ошибку исправить было в принципе невозможно.
