К этому времени Иван Терентьевич был уже женат на 20-летней Анне Ильиничне, урожденной Сизовой. В мае 1921 года у них родился сын Владимир.
За годы работы в военном трибунале Голяков приобрел определенный практический навык. Он много и упорно занимался самообразованием, однако чувствовал, что ему не хватает специальных знаний. Поэтому в 1922 году, с разрешения командования, без отрыва от основной работы, он стал посещать занятия на правовом отделении факультета общественных наук Северо-Кавказского университета. Учебу он успешно завершил в 1925 году, получив диплом по специальности криминалистика.
В Ростове-на-Дону Голяков прослужил четыре года. Потом он был выдвинут на должность заместителя председателя военного трибунала Западного и Белорусского военного округа и переехал в Смоленск. А еще через шесть лет, в сентябре 1931 года, — возглавил трибунал. К этому времени семья его увеличилась — в мае 1927 года родилась дочь Мария.
В 1931 году Иван Терентьевич успешно выдержал испытания на звание командира Рабоче-Крестьянской Красной Армии, и тогда же в Москве окончил курсы усовершенствования высшего начсостава РККА. За работу и общественную деятельность он не раз поощрялся командованием: награждался золотыми часами от Реввоенсовета Белорусского военного округа (май 1933 года) и от Реввоенсовета Союза ССР (декабрь 1933 года).
В марте 1933 года И. Т. Голяков становится членом военной коллегии Верховного суда СССР. В этой должности Иван Терентьевич прослужил почти пять лет. В январе 1936 года ему было присвоено воинское звание диввоенюриста.
Занимая столь высокий пост в течение длительного времени, И. Т. Голяков, естественно, был причастен и к тем репрессиям, которые проводила военная коллегия Верховного суда СССР в годы сталинизма. Через его руки прошло множество политических и уголовных дел. Приговоры выносились в духе того времени, особенно в отношении так называемых «контрреволюционеров» и «врагов народа», к которым причислить можно было фактически любого.
31 января 1938 года Прокурор Союза ССР А. Я. Вышинский подписал приказ о назначении Ивана Терентьевича Голякова Прокурором РСФСР. В этой должности он пробыл недолго — всего два с половиной месяца, не успев даже в сущности как следует вникнуть в дела и познакомиться с новой для него прокурорской системой. По этой причине он, конечно, ничем не сумел проявить себя на прокурорском поприще. Все, что он успел сделать, — это провести некоторые плановые мероприятия, подготовленные аппаратом, да подписать десяток-другой приказов и указаний.
14 апреля 1938 года Вышинский освободил И. Т. Голякова от обязанностей Прокурора РСФСР «ввиду перехода на другую работу». Исполнение обязанностей прокурора республики он возложил на В. А. Малюнова, бывшего тогда прокурором Московской области. Однако уже на следующий день Вышинский издал новый приказ (за тем же номером), согласно которому исполнение обязанностей Прокурора РСФСР возлагалось на помощника Главного военного прокурора бригвоенюриста М. И. Панкратьева. Что же касается В. А. Малюнова, то он был вообще снят с работы, а вскоре после этого арестован органами НКВД, осужден и расстрелян.
15 апреля 1938 года Голяков сдал все дела по прокуратуре республики Панкратьеву. На этом его прокурорская деятельность и закончилась.
И. Т. Голякову предстояло на долгие годы стать главным судьей страны. С мая 1938 года он исполнял обязанности Председателя Верховного суда СССР. Тогда же он был избран членом Свердловского райкома партии, а в июне — депутатом Верховного Совета РСФСР от Сухинического избирательного округа. На очередной сессии Верховного Совета РСФСР (июль 1938 года) Голяков становится председателем комиссии законодательных предположений.
В августе 1938 года состоялась 2-я сессия Верховного Совета СССР. И. Т. Голяков выступил на ней с речью при обсуждении доклада наркома юстиции СССР Рычкова и содоклада члена комиссии законодательных предположений Совета Союза Шагимарданова «О проекте Положения о судоустройстве СССР, союзных и автономных республик». После обычных для того времени рассуждений о преимуществах советской судебной системы перед капиталистической он кратко остановился на основных «вехах» работы Верховного суда СССР, заклеймил «врагов», пробравшихся в органы юстиции и в конце воспел дифирамбы в адрес «лучшего соратника товарища Сталина» В. М. Молотова и самого «великого Сталина».
17 августа 1938 года Иван Терентьевич Голяков был утвержден Председателем Верховного суда СССР.
Принятый Верховным Советом СССР 16 августа 1938 года Закон о судоустройстве СССР, союзных и автономных республик значительно расширил функции и полномочия Верховного суда СССР, возложив на него надзор за судебной деятельностью всех судебных органов страны. Первый пленум Верховного суда СССР нового состава проводился в Москве с 25 по 31 декабря 1938 года. Открывая его, И. Т. Голяков подчеркнул активную роль суда в решении задач, стоящих перед Советским государством. Он сказал, что созданы все условия для того, чтобы суд работал образцово и в кратчайший срок преодолел последствия вредительства в области правосудия. Затем доклад о судебной практике по делам о спекуляции сделал председатель судебной коллегии по уголовным делам Камерон. В прениях выступили заместитель Председателя Верховного суда СССР Солодилов, члены Верховного суда СССР Малинина и Гуков, а заключение по проекту постановления сделал Прокурор Союза ССР Вышинский. По обсуждаемым вопросам пленум принял постановления.
И. Т. Голяков был одним из немногих руководителей судебных органов, кто искренне хотел провести в жизнь начавшийся в те годы процесс частичной реабилитации. В декабре 1938 года он совместно с наркомом юстиции СССР Н. М. Рычковым дал указание суда м «как правило, не принимать к производству дела, которые исключительно основывались на признании обвиняемым своей вины». Однако уже через месяц, под давлением В. М. Молотова, Голяков и Рычков вынуждены были отменить свою директиву. Этот же вопрос Голяков вновь поднял спустя 12 лет, призвав органы прокуратуры отказаться от «вредной практики добиваться признания как главной вещи».
В декабре 1939 года И. Т. Голяков, по согласованию с Прокурором Союза ССР М. И. Панкратьевым и наркомом юстиции СССР Н. М. Рычковым, обратился с письмом на имя И. В. Сталина и В. М. Молотова, в котором сообщал, что военная коллегия Верховного суда СССР допускает вынесение «ошибочных» приговоров и предложил пересматривать такие дела (причем, в массовом порядке) не на пленарном заседании, а в специальной комиссии в узком составе: Председатель Верховного суда СССР, его заместитель и председатель военной коллегии при участии Прокурора Союза ССР. Однако это предложение поддержано не было. Особенно рьяно против него выступил Берия.
