предположил писатель-фантаст Тед Чан, страхи Кремниевой долины перед порабощением со стороны ИИ напоминают нелестный автопортрет, в котором технологические титаны узнают свой подход к бизнесу:
Задумайтесь: кто преследует свои цели с маниакальным упорством, игнорируя возможные негативные последствия? (49) Кто готов уничтожать Землю ради увеличения своей доли рынка? Этот гипотетический искусственный интеллект делает то же самое, к чему стремится любой технологический стартап: к экспоненциальному росту и уничтожению конкурентов для достижения абсолютной монополии. Идея суперинтеллекта настолько расплывчата, что его можно представить в виде бесконечного количества персонажей, имеющих одинаковую смысловую ценность: доброго волшебника, решающего все мировые проблемы, или гениального математика, который все свое время проводит за доказательством теорем столь абстрактных, что люди даже не могут понять их суть. Но когда этот суперинтеллект пытаются представить обитатели Кремниевой долины, его спутником всегда становится ничем не сдерживаемый капитализм.
Порой бывает сложно удержать в голове больше одной экзистенциальной угрозы. Но у Ника Бострома, одного из пионеров философии искусственного интеллекта, все-таки получилось. В своей передовой статье 2002 года (50), посвященной систематизации «экзистенциальных рисков», он перечислил двадцать одну потенциальную катастрофу, в результате которых «неблагоприятный исход либо уничтожит всю разумную жизнь земного происхождения, либо в значительной мере ограничит ее потенциал навсегда».
Бостром – не одинокий интеллектуал-пессимист, а один из ведущих мыслителей, пытающихся на концептуальном уровне сформулировать угрозу нашему виду со стороны вышедшего из-под контроля ИИ. Но в свой перечень рисков он включил и угрозу изменения климата, отнеся ее к подкатегории «Взрывов» – сценариев, которые могут стать причиной «вымирания разумной жизни земного происхождения в результате относительно внезапного бедствия, произошедшего либо случайно, либо из-за преднамеренного акта разрушения». Это самая большая категория в его перечне; бок о бок с изменениями климата в ней стоят сценарии, чьи названия говорят сами за себя: «Плохо запрограммированный суперинтеллект» и «Мы живем в симуляции, которую скоро отключат».
В своей статье Бостром также рассматривает связанный с изменением климата риск «истощения ресурсов или экологической катастрофы». Эту угрозу он отнес к категории «Кризисов»: событий, после которых «потенциал человечества развиться в постчеловечество будет перманентно подорван, хотя сама человеческая жизнь в какой-то форме продолжит свое существование». Самым показательным риском в данной категории, пожалуй, является «Технологическая задержка»: «технологические трудности, связанные с переходом в постчеловечество, окажутся столь велики, что мы не сможем их преодолеть». Бостром определил еще две категории: «Вопли» – риски, при которых «человечество достигнет постчеловечества до определенной степени, но будет сильно ограничено», как в случае с «Трансцендентной загрузкой в облако» или «Дефектным суперинтеллектом» (не путать с «Плохо запрограммированным суперинтеллектом»); и «Всхлипы», при которых «постчеловеческая цивилизация появится, но будет развиваться в направлении, постепенно, но неотвратимо ведущем либо к полному исчезновению наших ценностей, либо к состоянию, где эти ценности осознаются лишь в мизерной части от того, чего можно было бы с ними достичь».
Как вы могли заметить, хотя статья Бострома и нацелена на анализ «сценариев вымирания человечества», ни одна из категорий, за исключением «Взрывов», не упоминает угроз для человечества как такового. Вместо этого автор сосредоточился на том, что он называет «постчеловечеством», а другие часто называют «трансгуманизмом», – теории, что технологии могут молниеносно перенести нас в новое состояние, столь сильно отличающее от нынешнего, что мы будем вынуждены считать это истинным прорывом в нашей эволюции. Кто-то считает, что в этом радужном будущем в нашей кровеносной системе поселятся наноботы, фильтрующие токсины и распознающие опухоли; другие предсказывают, что человеческая жизнь выйдет за рамки осязаемой реальности и сознание можно будет полностью загрузить в компьютер. И тут мы натыкаемся на отголоски антропоцена: люди снимут с себя бремя решения проблем экологии; мы просто сбежим от них при помощи технологий.
Пока подобные перспективы сложно воспринимать всерьез, но среди авангарда футурологов Сан-Франциско, пришедших на смену поколению NASA и Bell Labs [100], эти взгляды укоренились почти повсеместно и безоговорочно (51) – и различаются лишь оценками того, насколько быстро такое будущее наступит. Питер Тиль [101] сетует на медленный темп развития технологий, но, возможно, он просто опасается, что они отстанут от темпов экологического и политического разрушения. Он продолжает инвестировать в сомнительные проекты по исследованию «вечной молодости» и скупает земли в Новой Зеландии (где он сможет пережить социальный коллапс нашей цивилизации). Сэм Альтман из венчурного фонда Y Combinator, заслуживший своим пилотным проектом «универсального базового дохода» статус технофилантропа, недавно объявил о готовности инвестировать в стартапы в сфере геоинжиниринга. По слухам, он уже внес предоплату создателям программы загрузки сознания в компьютер, в результате чего его разум покинет наш мир. Неудивительно, что он инвестор и этого проекта тоже.
Борстом не сомневается, что предназначением «человечества» является создание «постчеловечества», и для него эти термины почти синонимичны. Это отнюдь не наивность, а ключ к его популярности в Кремниевой долине: вера в то, что главная задача технопионеров – не создание условий для процветания и развития человечества, а построение некоего портала для перехода в новое, возможно, вечное существование, в технологическую идиллию, в которую многие – например, миллиарды людей, не имеющих доступа к широкополосному интернету, – никогда не попадут. Наверное, им будет крайне затруднительно загрузить свой мозг на сервер, пользуясь сим-картой с ограниченным трафиком.
Мир, раздираемый меняющимся климатом, останется позади. Разумеется, Бостром не единственный, кто считает этот риск угрозой существованию человечества. Тысячи, а возможно, и сотни тысяч ученых пытаются докричаться до аудитории непрофессиональных читателей после каждого экстремального погодного явления или нового исследования; и даже такой образец сдержанности, как Барак Обама, регулярно говорил об «экзистенциальной угрозе». Тем не менее, пожалуй, это признак техноцентризма нашей культуры: за исключением предложений по колонизации других планет и рассуждений о технологиях, которые освободят людей от большинства биологических и экологических потребностей, мы так и не приблизились к созданию подобных религиозных идей в отношении изменения климата, способных нас успокоить или придать смысл нашим жизням перед лицом возможной аннигиляции.
Разумеется, все это именно что религиозные фантазии: покинуть тело и возвыситься над бренным миром. Первая фантазия – почти карикатура на мышление привилегированного класса; проникновение этой идеи в мечты миллиардеров, пожалуй, было неизбежным. Вторая больше похожа на стратегический ответ на климатическую панику – обеспечение запасной экосистемы, чтобы спастись в случае коллапса существующей, – именно так описывают эту идею ее приверженцы.
Но это не рациональные варианты решения проблемы.
