27 марта 1932 года Вышинский направил на места директивное письмо «О работе прокуратуры по охране производства и труда». В нем он предлагал обеспечить так называемый «концентрированный надзор», то есть отказаться от «универсализма» в работе и не «вторгаться в сферу компетенции других органов», а сосредоточить внимание и силы на «ведущих, решающих производствах», обеспечить предупреждение, своевременное выявление и «удар» по таким преступным фактам, которые срывают и тормозят выполнение планов, установить постоянную связь с производством.
Прокурор республики довольно строго спрашивал со своих подчиненных за любые промахи и ошибки, допущенные ими, особенно при рассмотрении поручений правительства и разрешении жалоб. Об этом свидетельствуют многочисленные приказы, изданные им по Прокуратуре и Наркомату юстиции.
Вот только некоторые из них. Приказом от 22 апреля 1932 года он снял с должности прокурора Кабардино-Балкарской автономной области Кулика, поручив прокурору Северо-Кавказского края Фридбергу в срочном порядке провести расследование его деятельности и привлечь к ответственности. Основанием для такого сурового решения послужило следующее. Прокурор Кулик по поручению Президиума ВЦИК занимался проверкой заявления колхозников осетинской национальной бригады колхоза «Мировой Октябрь», которые пожаловались на притеснение со стороны местных властей и, в частности, председателя колхоза Сухих. Кулик пришел к выводу, что эта жалоба является необоснованной и лишь преследует цель скомпрометировать председателя колхоза. О своих выводах он сообщил в Президиум ВЦИК. Однако Отдел национальностей при Президиума ВЦИК с таким заключением не согласился и провел собственное расследование фактов, после чего пришел к выводу, что прокурор Кулик отнесся к рассмотрению жалобы формально и бездушно, «смазал факты» и не защитил права «нацменьшинств». После этого и последовал строгий приказ Вышинского.
После принятия постановления ЦИК И СНК СССР от 25 июня 1932 года «О революционной законности» Наркомюст и Прокуратура республики направили на места указание о необходимости быстрого и «безволокитного» разрешения жалоб, особенно тех, которые поступили от красноармейцев, рабочих, колхозников, учителей. Однако оно не привело к резкому улучшению работы в низовых органах юстиции и прокуратуры. В ряде автономных республик, краев и областей допускалась вопиющая волокита при рассмотрении обращений трудящихся. Не помогло даже и то, что руководители Наркомюста и Прокуратуры РСФСР брали разрешение многих жалоб под контроль. Ответы на них иногда не поступали месяцами. Вышинский решил положить этому конец. Он издал строгий приказ (№ 33 от 19 января 1933 года), которым «за совершенно недопустимую волокиту при рассмотрении жалоб и недисциплинированность в даче ответов на запросы НКЮ» поставил на вид, «с опубликованием в печати», прокурорам Западной области Лебедеву и Иваново-Промышленной области Драгунскому, а также обратился в Президиум ВЦИК с предложением наложить дисциплинарное наказание на прокурора Казахской АССР. Наряду с этим он предложил прокурорам расследовать все случаи волокиты и наказать виновных, вплоть до снятия их с должности и предания суду. При этом он предупредил, что если «в ближайший же месяц волокита с разрешением жалоб» не будет изжита, то по отношению к виновным лицам он применит «самые жесткие меры взыскания».
В качестве прокурора республики Вышинский принял участие в целом ряде крупных процессов, в том числе и по так называемым «делам о вредительстве». Один из них проходил весной 1933 года. Дело под названием «О вредительстве на электростанциях», расследовалось ОГПУ. Основанием для его возбуждения стали несколько аварий, произошедших на Московской, Челябинской, Зуевской и Златоустовской электростанциях. 12 апреля 1933 года В. В. Ульрих открыл заседание Специального присутствия Верховного суда СССР. Государственное обвинение поддерживал Вышинский, помогал ему Рогинский. На скамье подсудимых находились 18 руководителей и других работников крупных электростанций, а также сотрудники английской фирмы «Метрополитен-Виккерс», поставлявшей в Советский Союз турбины и оборудование для электростанций и оказывавшей содействие в его наладке. Защищали подсудимых адвокаты Брауде, Коммодов, Смирнов и другие. После интенсивных допросов в ОГПУ многие обвиняемые были сломлены. Во время суда все 12 подсудимых из числа советских граждан признались в содеянном, а из шести англичан — только один, да и тот в процессе судебного следствия от своих показаний отказался. Дело, квалифицированное следствием как вредительство и шпионаж, разваливалось буквально на глазах, и Вышинскому пришлось приложить немало усилий, чтобы «спасти процесс». В одном случае он даже сам чуть было не оказался в роли свидетеля, когда английский инженер в подтверждение своих слов о том, что он отказался от признательных показаний, данных им после изнурительного 18-часового допроса еще на следствии, стал ссылаться на разговор с Вышинским.
Обвинительная речь Вышинского хотя и была эффектной, тем не менее не подкреплялась какими-либо солидными доказательствами. Даже технологическая экспертиза признала, что аварии могли произойти как от халатности, так и от «злого умысла». Но изворотливый прокурор даже этот факт попытался использовать в своих целях, заявив, что преступная халатность есть не что иное, как «проявление преступного умысла». И все же Вышинский вынужден был отказаться от обвинения английского инженера Грегори и советского рабочего Зиверта, а остальных просил «сурово наказать».
На седьмой день процесса Ульрих огласил приговор. 11 советских специалистов и двое англичан были приговорены к лишению свободы, а троих английских подданных суд постановил выдворить из страны. Грегори суд оправдал, а Зиверта освободил из-под стражи без применения к нему наказания.
За свою деятельность на посту прокурора республики, хотя и непродолжительную, Вышинский по постановлению Президиума ВЦИК 21 января 1933 года был вознагражден орденом Трудового Красного Знамени, «учитывая большие заслуги в деле укрепления органов юстиции», а также за его «выдающуюся работу по разоблачению вредительских и контрреволюционных организаций».
20 июня 1933 года ЦИК и СНК СССР приняли постановление « Об учреждении Прокуратуры Союза ССР». Его подписали председатель ЦИК М. Калинин, председатель СНК В. Молотов (Скрябин) и и. о. секретаря ЦИК А. Медведев. В постановлении отмечалось, что Прокуратура Союза ССР учреждается «в целях укрепления социалистической законности и должной охраны общественной собственности по Союзу ССР от покушений со стороны противообщественных элементов»
Создание Прокуратуры Союза ССР было крупным и исключительно своевременным шагом в деле дальнейшей централизации и независимости органов прокуратуры. В соответствии с принятым постановлением она осуществляла надзор за соответствием постановлений и распоряжений отдельных ведомств Союза, союзных республик и местных органов власти Конституции и постановлениям Правительства Союза ССР; наблюдение за правильным и единообразным применением законов судебными учреждениями союзных республик с правом истребования любого дела в любой стадии производства, опротестования приговоров и решений судов в вышестоящие судебные инстанции и приостановления их исполнения; возбуждение уголовного преследования и поддерживание обвинения во всех судебных инстанциях по территории Союза ССР; надзор на основе особого положения за законностью и правильностью действий ОГПУ, милиции, уголовного розыска и исправительно-трудовых учреждений; общее руководство деятельностью прокуратур союзных республик.
21 июня 1933 года постановлением ЦИК СССР первым прокурором Союза ССР был назначен известный государственный и политический деятель Иван Алексеевич Акулов. Его заместителем стал Андрей Януарьевич Вышинский.
Акулов узнал о своем назначении в санатории «Мухалатка» в Крыму, где он отдыхал с семьей. Вернуться в Москву он сумел только через несколько дней, поэтому первое время заниматься делами, связанными с организацией союзного прокурорского органа, пришлось Вышинскому. 23 июня он издал приказ № 1 по Прокуратуре Союза ССР следующего содержания: «Согласно постановления Центрального Исполнительного Комитета и Совета Народных Комиссаров от 20 июня 1933 года об учреждении Прокуратуры Союза ССР и на основании постановления ЦИК Союза ССР от 21 июня с. г. о назначении тов. Акулова Ивана Алексеевича прокурором Союза ССР и моего назначения заместителем Прокурора Союза ССР, я, ввиду нахождения тов. Акулова И. А. в очередном отпуске впредь до его возвращения вступил во вр[еменное] испол[нение] обязанностей прокурора СССР».
Так началась служба Вышинского в Прокуратуре Союза ССР, продолжавшаяся шесть лет. И. А. Акулов не был юристом и вообще не имел никакого высшего образования, опыт работы в органах правопорядка у него был незначительный — в 1931 году он являлся первым заместителем председателя ОГПУ. При таких обстоятельствах основная тяжесть по реорганизации прокурорского надзора легла на плечи Вышинского. В это время он работал исключительно много и неустанно: занимался комплектованием аппарата Союзной прокуратуры, готовил тексты многих приказов и указаний (некоторые из них подписывал сам), а также проекты постановлений ЦИК и СНК СССР, связанные с прокурорским надзором.
