Постановлением Совета Народных Комиссаров СССР (СНК СССР) от 15 июля 1935 г. в составе НКВД СССР было организовано Главное управление государственной съемки и картографии (ГУГСК) НКВД СССР. Его начальником был назначен (по совместительству) с должностью начальника Отдела лесной охраны НКВД СССР — А.Г.Горянов.
Постановлением ЦИК и СНК СССР от 7 октября 1935 г. для сотрудников ГУГБ были введены следующие специальные звания: комиссар государственной безопасности 1 ранга (комиссар гб 1 ранга), комиссар гб 2 ранга, комиссар гб 3 ранга, старший майор гб, майор гб, капитан гб, старший лейтенант гб, лейтенант гб, младший лейтенант гб и сержант гб.
Постановлением ЦИК и СНК СССР от 26 ноября 1935 г. было установлено звание "Генеральный комиссар государственной безопасности". Тогда же это звание было присвоено наркому ВД СССР Г.Г.Ягоде.
Звание "Генеральный комиссар гб" просуществовало до 9 июля 1945 г., когда оно было заменено на соответствующее ему воинское звание "Маршал Советского Союза". Генеральными комиссарами государственной безопасности были три человека: Г.Г.Ягода (звание было присвоено 26 ноября 1935 г.), Н.И.Ежов (27 января 1937 г.) и Л.П.Берия (30 января 1941 г.).
По значимости спецзвания сотрудников ГУГБ были иные, нежели в армии. Например, звание "старший лейтенант гб" соответствовало воинскому званию "майор", спецзвание "капитан гб" соответствовало воинскому званию "полковник" и т. д.
Первоначально спецзвания работников ГУГБ обозначались в петлицах и на рукавах золотыми и серебряными звездочками, а с июля 1937 г. золотые звездочки были заменены "ромбами", серебряные звездочки — "шпалами". Приведем для примера знаки различия в петлицах для работников системы ГУГБ:
Генеральный комиссар гб — большая маршальская звезда.
Комиссар гб 1 ранга — звезда и 4 ромба (командарм 1 ранга РККА, а с мая 1940 г. — генерал армии).
Комиссар гб 2 ранга — 4 ромба (командарм 2 ранга РККА, генерал-полковник).
Комиссар гб 3 ранга — 3 ромба (комкор, генерал-лейтенант).
Старший майор гб — 2 ромба (комдив, генерал-майор).
Майор гб — 1 ромб (как у комбрига).
Капитан гб — 3 шпалы (как у полковника РККА, а с 1939 г. подполковника).
Старший лейтенант гб — 2 шпалы (как у майора РККА).
Лейтенант гб — 1 шпала (как у капитана РККА).
Младший лейтенант гб — 3 квадрата (как у старшего лейтенанта РККА).
Сержант гб — 2 квадрата (как у лейтенанта РККА).
С введением 9 февраля 1943 г. новых знаков различия — "погонов", звания "старший майор гб" было заменено на соответствующее ему звание "комиссар государственной безопасности". Тогда же появились звания "полковник" и подполковник" государственной безопасности. После проведения аттестации всем капитанам гб с 11 февраля 1943 г. было присвоено звание "подполковник гб", "старшим лейтенантам гб" — звание "майор гб" и т. д.
"Старшим майорам гб" и "майорам гб" новые звания присваивались в индивидуальном порядке, однако, как правило, "майоры гб" становились "полковниками гб", а "старшие майоры гб" — "комиссарами гб". Все эти звания просуществовали до 9 июля 1945 г., когда были заменены на соответствующие им воинские звания.
За всю историю существования спецзвания "комиссар государственной безопасности 1 ранга" (а с 9 июля 1945 г. — генерал армии), это звание было присвоено девяти чекистам: Я.С.Агранову, В.А.Балицкому, Т.Д.Дерибасу, Г.Е.Прокофьеву, С.Ф.Реденсу, Л.М.Заковскому (всем это звание было присвоено 26 ноября 1935 г.), Г.И.Благонравову (5 июля 1936 г.), Л.П.Берия (11 сентября 1938 г.) и В.Н.Меркулову (5 февраля 1943 г.).
В 1936 году произошли следующие изменения в структуре центрального аппарата НКВД СССР:
— 4 января 1936 года на базе Инженерно-строительного отдела (ИСО) ГУПВО НКВД СССР был организован Инженерно-строительный отдел (ИСО) НКВД СССР. Его начальником был назначен А.Я.Лурье. На ИСО НКВД СССР было возложено руководство капитальным строительством.
— 15 января 1936 года в составе НКВД СССР было организовано Управление особого строительства (УОС). Его начальником быт назначен Э.А.Зибрак. На УОС НКВД СССР было возложено руководство строительством хлебого-родков для хранения неприкосновенного фонда хлебофуража.
Приказом НКВД СССР № 0033 от 28 января 1936 г. было объявлено о передаче Управления коменданта Московского Кремля из состава НКО СССР в состав НКВД СССР. Этим же приказом комендантом Московского Кремля был назначен комдив Ткалун П.П.
— На основании постановления СНК СССР от 3 марта 1938 г. в составе НКВД СССР было организовано Главное управление строительства шоссейных дорог (ГУШОСДОР). Его начальником был назначен Г.И.Благонравов (с 5 июля 1936 г. — комиссар гб 1 ранга).
— 15 марта 1936 года А.Г.Горянов был освобожден от должности начальника Отдела лесной охраны НКВД СССР, а сам этот отдел был включен в состав ГУРКМ НКВД СССР на правах самостоятельного отдела. Начальником Отдела лесной охраны ГУРКМ НКВД СССР был назначен С.Ф.Белоногов.
— 26 июня 1936 года на основании постановления СНК СССР в состав НКВД СССР было включено Центральное управление мер и весов, которое вскоре было переименовано в Главное управление мер и весов (Главмервес) НКВД СССР (врио начальника — Г.К.Карманов).
— 26 сентября 1936 г. Генеральный комиссар гб Г.Г.Ягода был освобожден от должности наркома ВД СССР и назначен наркомом связи СССР. 3 апреля 1937 г. постановлением ЦИК СССР он был отстранен от этой должности и арестован. Военной коллегией Верховного Суда СССР 13 марта 1938 г. Г.Г.Ягода был приговорен к расстрелу. В прошении о помиловании в адрес Президиума Верховного Совета (ЛВС) СССР от 13 марта 1938 г. он написал: "Вина моя перед родиной велика. Не искупить ее в какой-либо мере. Тяжело умирать. Перед всем народом и партией стою на коленях и прошу помиловать меня, сохранив мне жизнь". Ходатайство было отклонено и 15 марта 1938 г. Г.Г.Ягода был расстрелян.
— 26 сентября 1936 года наркомом ВД СССР был назначен Н.И.Ежов.
С приходом в НКВД СССР Н.И.Ежова там произошли следующие перестановки на ключевых постах:
— 29 сентября 1936 г. комиссар гб 1 ранга Г.Е.Прокофьев был освобожден от должности заместителя наркома ВД СССР и назначен первым заместителем наркома связи СССР;
— первый заместитель наркома ВД СССР комиссар гб 1 ранга Я.С.Агранов 29 декабря 1936 г. был назначен начальником ГУГБ НКВД СССР, но был на этом посту недолго: 15 апреля 1937 г. он был назначен начальником 4 отдела ГУГБ НКВД СССР и 17 мая 1937 г. освобожден от должности заместителя наркома ВД СССР;
— 29 сентября 1936 г. заместителем наркома ВД СССР был назначен начальник ГУЛАГа, комиссар гб 3 ранга М.Д.Берман;
— 16 октября 1936 г. заместителем наркома ВД СССР был назначен начальник ГУПВО комкор М.П.Фриновский, а 15 апреля 1937 г. он стал первым заместителем наркома ВД СССР и начальником ГУГБ НКВД СССР;
— 3 ноября 1936 г. заместителем наркома ВД СССР был назначен начальник ГУРКМ комиссар гб 2 ранга Л.Н.Бельский;
— 15 апреля 1937 г. заместителем наркома ВД СССР стал начальник 1 отдела ГУГБ НКВД СССР комиссар гб 3 ранга В.М.Курский;
8 июля 1937 г. застрелился начальник 3 отдела и заместитель наркома вн. дел СССР комиссар государственной безопасности 3 ранга В.М.Курский, приказом НКВД СССР № 1153 от 11 июля 1937 г. он был исключен из списков личного состава НКВД СССР за смертью.
— 7 августа 1937 г. заместителем наркома ВД СССР был назначен начальник ГУРКМ комдив В.В.Чернышов;
— 16 августа 1937 г. заместителем наркома ВД СССР был назначен старший майор гб М.И.Рыжов;
— 8 января 1938 г. заместителем наркома ВД СССР был назначен старший майор гб С.Б.Жуковский;
— 29 января 1938 г. заместителем наркома ВД СССР был назначен комиссар гб 1 ранга Л.М.Заковский (одновременно он возглавил УНКВД по Московской области).
Прошел год после снятия с должности наркома внутренних дел СССР Г.Г.Ягоды и назначения на эту должность Н.И.Ежова. Выступая 20 декабря 1937 г. на торжественном заседании по случаю 20-летия со дня организации ВЧК-ОГПУ-НКВД, А.И.Микоян так оценил работу Н.И.Ежова на посту наркома внутренних дел СССР: "… товарищ Ежов Николай Иванович, прийдя в НКВД, сумел быстро улучшить положение в НКВД закрепить его и поставить на высшую ступень работу НКВД в кратчайший срок… Ежов создал в НКВД замечательный костяк чекистов, советских разведчиков, изгнав чуждых людей, проникших в НКВД и тормозивших его работу".
К декабрю 1937 г. за "предательство и контрреволюционною деятельность" уже были арестованы бывший нарком внутренних дел СССР Г.Г.Ягода и бывший первый заместитель наркома внутренних дел СССР Я.С.Агранов, а бывший заместитель наркома внутренних дел СССР Г.Е.Прокофьев расстрелян. К этому времени было репрессировано также почти все ягодовское руководство ГУГБ НКВД СССР: бывший начальник ИНО ГУГБ НКВД СССР — А.Х.Артузов, бывший начальник Спецотдела ГУГБ — Г.И.Бокий, бывший начальник ОО ГУГБ — М.И.Гай, бывшие начальники ТО ГУГБ — В.А.Кишкин и А.М.Шанин, бывший начальник ЭКО и КРО ГУГБ — Л.Г.Миронов, бывший начальник СПО ГУГБ — Г.А.Молчанов и бывший начальник Отдела охраны ГУГБ — К.В.Паукер.