Ближе к дому мы сталкиваемся с внутренним врагом: событиями, вызванными нашей собственной планетой. Супервулканы и массивные излияния базальтовой лавы – главные подозреваемые во многих вымираниях. Они способны вызвать «вулканическую зиму», окутав Землю пылевыми облаками, которые на годы заслонят солнечный свет, как при ударе крупного астероида. Они также могут привести к разрушению экосистем, выбрасывая в атмосферу токсичные газы, вызывающие кислотные дожди и глобальное потепление. Такое суперизвержение, случившееся в Сибири, широко признается в качестве причины крупнейшего известного вымирания, называемого Великим[95]: тогда, 250 млн лет назад, исчезло 96 % видов морских животных.
Проблема в нас
Мы сталкиваемся с многочисленными экзистенциальными угрозами, связанными с астрономическими и геологическими явлениями. Я перечислил лишь те, которые считаю наиболее серьезными. Когда я думаю обо всех таких рисках, я прихожу в целом к оптимистичному прогнозу:
1. Технологии будущего вполне способны помочь жизни процветать в ближайшие миллиарды лет.
2. Мы (а также наши потомки), по-видимому, способны своевременно разработать эти технологии – при условии, что люди научатся действовать сообща.
Решив самые неотложные проблемы (рис. 13.3, слева), мы обеспечим себе время для того, чтобы заняться остальными.
По иронии судьбы, эти неотложные проблемы в основном порождены нами самими. В то время как большинство геологических и астрономических катастроф маячит в тысячах, миллионах и миллиардах лет впереди, люди радикально меняют положение дел в масштабах десятилетий, открывая ящик Пандоры с новыми экзистенциальными угрозами. Изменяя воду, сушу и воздух за счет рыболовства, сельского хозяйства и промышленности, мы ежегодно вызываем вымирание около 30 тыс. видов. Некоторые биологи уже называют происходящее «шестым вымиранием». Не грозит ли в скором будущем вымирание и нам самим?
Вы, несомненно, следите за язвительной полемикой вокруг вызванных человеком рисков, таких как глобальная пандемия (случайная и преднамеренная), изменения климата, загрязнение окружающей среды, истощение ресурсов и коллапс экосистем. Позвольте мне рассказать подробнее о двух порожденных человеком угрозах, которые сильнее всего беспокоят меня самого: случайная ядерная война и недружественный искусственный интеллект.
Случайная ядерная война
«Серийный убийца на свободе!» «Террорист-смертник!» «Остерегайтесь птичьего гриппа!» Хотя ужасы, привлекающие газетчиков, очень пугают, для вас все же опаснее рак. Хотя вероятность заболеть раком составляет менее 1 % в год, жизнь достаточно продолжительна и имеется значительная вероятность, что в конце он и вас поджидает. Как и случайная ядерная война.
В течение той половины столетия, когда мы располагали средствами для организации ядерного Армагеддона, не прекращались ложные сигналы тревоги, способные спровоцировать всеобщую войну. Это настолько сильно беспокоило меня в 17-летнем возрасте, что я стал фрилансером в шведском журнале PAX, посвященном борьбе за мир. Главный редактор Карита Андерсон обучала меня азам журналистики. Постепенное рассекречивание документов показывало, что некоторые ядерные инциденты несли гораздо больший риск, чем признавали государства в то время, когда они имели место. Лишь в 2002 году стало известно, что во время Карибского кризиса американский корабль «Бигль» атаковал глубинными бомбами неизвестную подводную лодку. Субмарина оказалась советской, несла ядерное оружие, и ее командир едва не пустил его в ход.
Несмотря на то, что холодная война закончилась, риск ядерного конфликта в последние годы, по-видимому, снова вырос. Неточные, но мощные межконтинентальные баллистические ракеты (МБР) поддерживали стабильность «гарантированного взаимного уничтожения». Улучшение наведения у ракет, сокращение их подлетного времени и усовершенствование систем слежения за подводными лодками ведет к нарушению такой стабильности. Россия и Соединенные Штаты придерживаются стратегии запуска после предупреждения о ракетном нападении. Она требует, чтобы решение об ответном ядерном ударе принималось в течение 5-15 минут, когда может еще не быть полной информации о происходящем. 25 января 1995 года Борис Ельцин был в шаге от решения о полномасштабном ударе по Соединенным Штатам из-за неопознанной норвежской исследовательской ракеты. Вызвал беспокойство американский проект по замене на подводных лодках «Трайдент» у 2 из 24 баллистических ракет D5 ядерных боеголовок обычными для возможного использования против Ирана или Северной Кореи. Российские системы раннего оповещения не смогли бы отличить их от ядерных ракет, что увеличило бы опасность. Вызывает тревогу также вероятная психическая неуравновешенность командиров и (или) их радикальные политические либо религиозные взгляды.
Но к чему беспокойство? Ясно же, что когда дойдет до дела, разумные люди вмешаются и все сделает правильно, как уже бывало. Ядерные державы предпринимают серьезные контрмеры, как наш организм – против рака. Тело способно справляться с изолированными вредоносными мутациями, и, по-видимому, требуется случайное совпадение минимум четырех мутаций, чтобы спровоцировать развитие рака некоторых типов. И все же, если бросать кости достаточное число раз, неприятность случается. Стэнли Кубрик в мрачной комедии «Доктор Стрейнджлав» иллюстрирует такое совпадение.
Случайная ядерная война между двумя сверхдержавами может случиться в течение моей жизни – или не случиться. Если это произойдет, очевидно, все изменится. Изменения климата, о которых мы сейчас тревожимся, блекнут на фоне ядерной зимы, при которой пылевое облако на целые годы закроет Солнце, как бывало при падении астероидов или извержении супервулканов, в прошлом вызывавших массовые вымирания. Экономические неурядицы 2008 года были, конечно, ничем в сравнении с неурожаем в глобальном масштабе, коллапсом инфраструктуры и массовым голодом. Ожидаю ли я увидеть все это своими глазами? Я бы оценил вероятность этого сценария примерно в 30 %, что в первом приближении соответствует вероятности заболеть раком. При этом мы гораздо меньше внимания и ресурсов уделяем снижению риска ядерной катастрофы (по сравнению с раком). Даже если 30 % людей заболеет раком, то остальное человечество уцелеет, а перспективы цивилизации при ядерном Армагеддоне гораздо менее очевидны. Есть конкретные, ясные шаги, направленные на снижение риска ядерного конфликта, и они описаны в многочисленных научных докладах. Однако это никогда не становилось важной предвыборной темой и по большей части игнорируется.
Недружественная сингулярность
Промышленная революция дала нам машины сильнее нас. Информационная революция породила машины умнее нас в некоторых отношениях. Каких именно? Компьютеры обычно превосходят нас только в простых, требующих «грубой силы» когнитивных задачах, таких как быстрые арифметические вычисления или поиск в базе данных. Однако в 2006 году компьютер одолел чемпиона мира по шахматам Владимира Крамника, а в 2011 году положил на лопатки Кена Дженнингса в телевикторине Jeopardy![96] В 2012 году компьютер получил водительскую лицензию в штате Невада, после того как было доказано, что он безопаснее водителя-человека. Как далеко это зайдет? Превзойдут ли нас компьютеры по всем задачам, выработав сверхчеловеческий интеллект? У меня мало сомнений в том, что это может случиться: наш мозг – это совокупность частиц, подчиняющихся законам физики, и нет физического закона, запрещающего частицам организоваться так, чтобы выполнять еще более сложные вычисления. Но случится ли это, и будет ли это хорошо? Вопросы очень своевременные: хотя некоторые считают, что машины со сверхчеловеческим интеллектом в обозримом будущем построить нельзя, другие, например американский изобретатель и писатель Рэй Курцвейл, предсказывают их появление уже к 2030 году, что делает данную угрозу требующей неотложного рассмотрения.
Идея сингулярности
В общем, неясно, появятся ли (и должны ли появиться) сверхразумные машины, и эксперты по искусственному интеллекту расходятся во мнениях по этому вопросу. Но, я думаю, совершенно ясно, что если такое случится, последствия будут взрывоподобными. Почему это так, объяснил британский математик Ирвинг Гуд в 1965 году, за два года до моего рождения: «Определим сверхразумную машину как такую, которая может превзойти сколь угодно умного человека в любой интеллектуальной деятельности. Поскольку конструирование машин является одним из видов такой интеллектуальной деятельности, сверхразумная машина может сконструировать машины, которые окажутся еще лучше. Тогда, несомненно, произойдет „интеллектуальный взрыв“, и интеллектуальный уровень человека останется далеко обойден. Таким образом, первая сверхразумная машина станет последним изобретением, которое человеку когда-либо понадобится сделать – при условии, что эта машина будет достаточно покорной и покажет нам, как держать ее под контролем».
