Будет легче контролировать проекты, требующие значительного объема материальных ресурсов, как в случае полной эмуляции головного мозга. Напротив, труднее поддаются контролю исследования в области ИИ, поскольку для них нужен лишь компьютер, а также ручка и лист бумаги — с их помощью ведутся наблюдения и делаются теоретические выкладки. Но и в этом случае несложно выявить наиболее талантливых ученых с серьезными долгосрочными замыслами в области ИИ. Обычно такие люди оставляют видимые следы: публикации научных работ; участие в конференциях; комментарии в интернет-форумах; премии и дипломы ведущих организаций в области компьютерных наук. Исследователи, как правило, публично общаются друг с другом на профессиональном уровне, что позволяет идентифицировать их, составив социальный граф.
Сложнее будет обнаружить проекты, изначально предполагающие секретность. В качестве их ширмы может выступать идея разработки какого-нибудь обычного ПО26. И только тщательный анализ кода позволит раскрыть истинную сущность проблем, над которыми трудятся программисты. Такой анализ потребует привлечения большого числа очень квалифицированных и очень опытных специалистов, поэтому вряд ли получится досконально исследовать все подряд. В такого рода наблюдениях задачу серьезно облегчит появление новейших технологий, вроде использования детекторов лжи27.
Есть еще одна причина, по которой государства могут не справиться с выявлением многообещающих проектов, поскольку некоторые научные и технические открытия, в принципе, трудно прогнозировать. Скорее всего, это относится к исследованиям в области ИИ, поскольку революционным изменениям в компьютерном моделировании мозга будет предшествовать целая серия успешных экспериментов.
Возможно, что присущие спецслужбам и прочим государственным институтам бюрократические неповоротливость и негибкость не позволят им распознать значимость некоторых достижений — очевидную для профессионалов.
Особенно высоким может оказаться барьер на пути официального признания возможности взрывного развития интеллекта. Вполне допустимо, что этот вопрос станет катализатором религиозных и политических разногласий и в итоге в некоторых странах превратится в табу для официальных лиц. Более того, тему взрывного развития начнут ассоциировать с дискредитировавшими себя персонажами, шарлатанами и пустозвонами, в результате чего ее начнут избегать уважаемые ученые и политики. (В первой главе вы уже читали о подобном эффекте, когда нечто подобное случалось уже минимум дважды — вспомните две «зимы искусственного интеллекта».) К этой кампании дискредитации обязательно присоединятся лоббисты, не желающие, чтобы на выгодное дело была брошена тень подозрений, и сообщества ученых, готовых вышвырнуть из своих рядов любого, кто осмелится озвучить собственные опасения по поводу «замораживания» столь важной проблемы и последствий этого для самой науки28.
Итак, полного поражения спецслужб в этом вопросе исключать нельзя. Особенно высока его вероятность, если какое-либо судьбоносное открытие произойдет в ближайшем будущем, пока тема еще не привлекла внимания широкой общественности. Но даже если специалисты разведывательных управлений все понимают правильно, политики просто отмахнутся от их советов. Знаете ли вы, что запуск Манхэттенского проекта потребовал буквально нечеловеческих усилий, предпринятых несколькими физиками-провидцами, среди которых были Марк Олифант и Лео Силард — именно последний упросил Юджина Вигнера, чтобы тот убедил Альберта Эйнштейна, чтобы тот подписал письмо с целью убедить президента США Франклина Рузвельта обратить внимание на эту проблему? И даже когда Манхэттенский проект шел полным ходом, и Рузвельт, и потом Гарри Трумен сомневались в его необходимости и скептически относились к возможности его осуществления.
Хорошо это или плохо, но, скорее всего, небольшим группам энтузиастов будет трудно повлиять на последствия создания искусственного интеллекта, если в этом направлении начнут активно действовать крупные игроки, включая государства. Таким образом, повлиять на снижение общего уровня риска для человечества в результате взрывного развития искусственного интеллекта активисты, вероятно, смогут в двух случаях: если тяжеловесы останутся в стороне от процесса и если на ранних стадиях активисты смогут определить, где, когда, как и какие именно крупные игроки вступят в игру. Поэтому тем, кто желал бы сохранить за собой максимальное влияние, следует сосредоточить силы на тщательном планировании своих действий до самого конца, даже при понимании высокой вероятности сценария, по которому в конечном счете крупные игроки все заберут себе.
Международное сотрудничество
Координация на международном уровне более вероятна, если будут сильны институты общемирового управления. Ее шансы увеличит как широкое признание самого факта, что взрывное развитие искусственного интеллекта действительно может иметь место, так и мнение, будто действенное наблюдение за всеми серьезными проектами вполне реализуемо. Последнее предположение, как мы уже видели, весьма сомнительно, однако международное сотрудничество все-таки осуществимо. Страны способны объединяться для поддержки совместных разработок. Если у таких проектов достаточно ресурсов, появляются отличные перспективы, что они первыми достигнут цели, особенно если конкуренты или лишены крепкой материальной базы, или вынуждены вести свои разработки в условиях секретности.
Известны прецеденты успешного крупномасштабного международного научного сотрудничества, такие как проект создания и эксплуатации Международной космической станции, исследования генома человека и Большого адронного коллайдера29. Однако основным мотивом для сотрудничества во всех этих проектах было разделение затрат на них. (В случае МКС важной целью было также развитие партнерства между Россией и США30.) Намного труднее работать в тесном сотрудничестве над проектами, которые важны с точки зрения безопасности. Если страна считает, что способна достичь цели самостоятельно, у нее возникнет большой соблазн двигаться по этому пути без партнеров. Еще одна причина уклониться от участия в международном сотрудничестве — страх, что кто-то из партнеров воспользуется общими идеями для ускорения своего тайно реализуемого национального плана.
Таким образом, чтобы начать международный проект, придется решать серьезные проблемы с безопасностью, кроме того, потребуется значительное доверие его участников друг к другу и время, чтобы это доверие возникло. Вспомните, что даже в условиях потепления отношений между США и СССР, во времена Михаила Горбачева, усилия по снижению количества вооружений — которое было в интересах обоих государств — давали не очень заметный результат. Горбачев стремился к резкому снижению запасов ядерного оружия, но переговоры застопорились из-за проблемы «звездных войн» Рональда Рейгана, то есть стратегической оборонной инициативы (СОИ), против реализации которой активно выступал Кремль. На встрече в верхах в Рейкьявике в 1986 году Рейган выступил с предложением, что США поделится с СССР технологией, лежащей в основе программы, таким образом, обе страны могли бы получить защиту от случайных пусков и нападения со стороны более мелких стран, способных создать ядерное оружие. Однако Горбачева это взаимовыгодное предложение не устроило. Согласиться на него, по его мнению, было бы ошибкой, при этом Горбачев не принял во внимание, что Америка была готова поделиться с Советским Союзом плодами ультрасовременных военных разработок в то время, когда под запретом была передача СССР даже технологий машинного доения31. Трудно сказать, был ли искренен Рейган в своем щедром предложении сотрудничества другой сверхдержаве, но долгое взаимное недоверие не позволило Горбачеву принять его дар.
Легче сотрудничать, будучи союзниками, но и в таком случае не всегда удается автоматически добиться доверия. Во времена Второй мировой войны Советский Союз и Соединенные Штаты вместе боролись с общим врагом — нацистской Германией, — и тем не менее США скрывали от союзника свое намерение создать атомную бомбу. В Манхэттенском проекте они сотрудничали с Великобританией и Канадой32. Точно так же Великобритания утаивала от СССР, что ее ученым удалось раскрыть секрет немецкого шифра «Энигма», но поделилась этим — правда, не сразу — с США33. Вывод напрашивается сам собой: прежде чем думать о международном сотрудничестве в работе над технологиями, имеющими критически большое значение для национальной безопасности, необходимо построить близкие и доверительные отношения между странами.
К вопросу о желательности и возможности международного сотрудничества в развитии технологий повышения интеллектуальных способностей мы вернемся в четырнадцатой главе.
