Инициатором создания службы безопасности являлся Генрих Гиммлер, а ее непосредственным организатором стал волей случая Рейнхардт Гейдрих, бывший офицер-связист флота, ошибочно рекомендованный как специалист по разведке (в немецкой лексике термины «служба связи» и «разведка» являются омонимами).
Гейдрих, которому предстояло сыграть значительную роль в истории германского фашизма, был личностью весьма своеобразной. Будучи прекрасным пианистом, глубоко понимая музыку (Гейдрих мог проливать слезы, отдаваясь ее чарующим звукам), он проявлял удивительный цинизм, холодную жестокость и коварство в общении с людьми. Гиммлер, когда поближе узнал своего избранника на пост руководителя СД, оценивал его как человека «с глазами волка», прирожденного разведчика, обладавшего необыкновенной интуицией, знанием психологии людей, способностью предугадывать «ходы» противника в поединках секретных служб.
Рейнхард Гейдрих родился 7 марта 1904 года в Саксонии в интеллигентной семье — его отец был директором консерватории, оперным композитором, а мать, дочь профессора из Дрездена, театральной актрисой. Формирование его личности проходило под воздействием милитаристской пропаганды времен первой мировой войны. Поражение 1918 года было для него трагедией. Обуреваемый фанатической ненавистью к «врагам Германии», «укравшим победу», он 14-летним подростком попытался вступить в добровольческие карательные отряды — «фрейкорпс». Потерпев неудачу, Гейдрих возвратился в гимназию, а после ее окончания в 1922 году поступил на военную службу в качестве кадета флота. Тогда-то он и познакомился со старшим офицером учебного крейсера «Берлин» капитаном Канарисом, заметившим способного к математике и музыке рослого юношу с необычными чертами лица, в чем-то монгольскими, но со светлыми волосами. Кадет стал бывать дома у командира, находя теплый прием у его супруги, с которой они играли в четыре руки на рояле.
После производства в офицеры пути Гейдриха и Канариса на время разошлись. Морская карьера молодого лейтенанта развивалась неблагоприятно — в апреле 1931 года обер-лейтенант Гейдрих, офицер штаба в Киле, был уволен из флота: его поведение в любовных делах нашли несовместимым с офицерской честью. От участи безработного в охваченной кризисом Германии его спасло вступление сначала в «штурмовые отряды», а затем в НСДАП, с приходом к власти которой он теперь связывал свое будущее.
14 июня 1931 года на небольшой ферме близ Мюнхена состоялась встреча Гейдриха с Гиммлером, оказавшаяся решающей: рейхсфюреру кандидат на пост начальника партийной контрразведки понравился, он сумел выдержать предложенный ему экзамен — за полчаса нарисовал схему будущей организации, признанную подходящей. Ее задачи были определены, исходя из принадлежности СД к партии — сбор информации, необходимой для «подавления еврейских и масонских противников» в интересах недопущения «большевизации Германии».
В августе 1931 года Рейнхардт Гейдрих, член НСДАП с партийным билетом № 544916, был произведен в звание в системе СС, соответствующее чину лейтенанта, переведен из Гамбурга в Мюнхен и назначен шефом службы безопасности «Коричневого дома» — штаб-квартиры НСДАП. Он обосновался со штатом из трех человек (включая секретаршу — его жену Магду) сначала в этом здании, а затем переехал в двухкомнатную квартиру на Тюркенштрассе 23, в Швабинге — районе, излюбленном мюнхенской богемой; через некоторое время последовал новый переезд — в небольшую виллу за городом. В следующем году Гейдрих получает ранг штандартенфюрера (полковника) СС, а 21 марта 1933 года — оберфюрера (генерала) СС.
После победы «национальной революции» СД в первое время играла ограниченную роль и не принимала заметного участия в крупнейших политических акциях нового режима. Даже к концу 1933 года в рядах СД насчитывалось лишь 100 человек. С течением времени ее роль как единственного аппарата внутренней разведки, обеспечивавшего информацией политического характера Гитлера и его окружение, возрастает: она становится органом не только внутренней, но и внешней разведки. В структуре центрального аппарата СД появляется специальный («Ш») отдел, на который было возложено проведение агентурной разведки за границами рейха. Слабым местом «фирмы Гейдрих» были ее кадры. СД комплектовалась выходцами из мелкобуржуазной среды, получившими образование в университетах в конце 20-х годов. В области разведки они были дилетантами, значительно уступая в профессиональном отношении своим «коллегам» из Абвера. Зато в готовности идти на любые преступления — убийства, похищения, провокации, люди Гейдриха, пожалуй, оставили их позади, мало чем отличаясь от обычных бандитов.
Таким дилетантом со склонностями уголовного преступника был, в частности, первый начальник внешней разводки СД Гейнц Йост. Этот сын сельского аптекаря, получивший юридическое образование, вступил в НСДАП еще в 1928 году и обладал партийным билетом № 75946, т. е. принадлежал к числу «старых борцов», ставших наци еще «в годы борьбы», когда пребывание в партии не было связано с материальными привилегиями периода после 1933 года. В «третьей империи» Йост, до этого — мелкий судейский чиновник, потом адвокат, стал сразу же шефом полиции в Вормсе. Это было совсем неплохо для не достигшего еще и 30 лет, никому не известного провинциального юриста.
Но все-таки это был лишь первый шаг в его карьере. 28 июля 1934 года он был переведен в СД и назначен начальником только еще формировавшейся внешней разведки (Аусланд СД). Несмотря на то, что Йост не имел ни малейшего опыта практической работы, он удержался на этом посту до 1941 года, когда его непригодность стала очевидной и Гиммлеру, и Гейдриху.
«Аусланд-СД» не была единственной службой внешней разведки нацистской партии. Весьма значительную активность развили «Заграничная организация НСДА» («Аусландсорганизатион», сокращенно — АО). На правах формирования областного значения она объединяла всех членов НСДАП, постоянно проживавших за пределами Германии, часть из которых являлись гражданами других стран. Ее главой был Эрнст Вильгельм Боле, уроженец Англии, так же как и Гейдрих и Йост, совсем молодой человек — в 1933 году ему было около 30 лет.
Летом 1935 года Боле получил согласие Риббентропа, тогда главного советника Гитлера по вопросам внешней политики, на включение АО в сбор разведывательной информации заграницей. Ежемесячно из каждой страны, где была организация НСДАП, представлялся доклад о политическом положении. Кроме того, АО стала основным источником для пополнения агентурной сети других разведывательных служб Германии людьми, хорошо знавшими местные условия и интегрированными в хозяйственные, политические, а порой и военные структуры соответствующих стран. Боле установил постоянную связь с Абвером и СД, назначив постоянных связных в их штаб-квартиры.