Варианты: джинны, использующие различные «дистанции экстраполяции» или степени следования скорее духу, нежели букве команд; джинны, ограниченные отдельными областями знаний; джинны, отказывающиеся выполнять команды, если они предсказывают, что их выполнение отвечает некоторому заранее определенному критерию «бедствия»
Джинны могли бы разбивать выполнение команд на этапы, чтобы контролировать промежуточные результаты.
Источник огромной власти (могут обеспечить оператора решающим стратегическим преимуществом).
Ограниченная защита от неправильного использования оператором.
Большая потребность понимать человеческие намерения и интересы (по сравнению с оракулами)
Монарх
Система, предназначенная для независимого выполнения автономных операций
Изоляционные методы неприменимы.
Большинство других методов контроля над возможностями также неприменимы (за исключением социальной интеграции и антропного захвата).
Метод приручения в большинстве случаев неприменим.
Высокая потребность в понимании истинных человеческих намерений и интересов.
Необходимость правильной реализации с первого раза (в принципе, в той или иной степени это верно для всех каст)
Варианты: многие возможные системы мотивации; возможность использования оценки и «ратификации организатором» (см. главу 13)
Потенциально источник огромной власти для организатора, включая решающее стратегическое преимущество.
После активации не подвержен взлому со стороны оператора и может быть снабжен некоторой защитой от неправомерного использования. Может использоваться для реализации исходов типа «вуаль неведения» (см. главу 13).
Могут быть применимы изоляционные методы в зависимости от реализации.
При разработке и функционировании машинного сверхразума, скорее всего, будут использоваться мощные поисковые процессы
Инструмент
Система, не предназначенная для целенаправленного поведения
Мощный поиск с целью найти решение, удовлетворяющее некоторым формальным критериям, может привести к открытию решения, которое отвечает этим критериям незапланированным и опасным способом
Мощный поиск может включать в себя вторичный, внутренний поиск и процессы планирования, которые выявят опасные способы проведения основного поиска
Для определения, какой тип системы будет самым безопасным, требуется проведение дополнительных исследований. Ответ может зависеть от условий, при которых используется ИИ. Каста оракулов, очевидно, привлекательна с точки зрения безопасности, поскольку к оракулам применимы и методы контроля над возможностями, и методы выбора мотивации. В этом смысле может показаться, что оракулы предпочтительнее монархов, которым подходят лишь методы выбора мотивации (за исключением ситуаций, когда в мире существуют и другие мощные сверхразумные системы, — в этом случае могут применять социальную интеграцию или антропный захват). Однако оракул может дать оператору слишком большую власть, что опасно в случае коррумпированного или неблагоразумного оператора, в то время как монарх дает некоторую возможность защититься от таких неприятностей. Так что ранжирование каст с точки зрения безопасности не столь очевидно.
Джинна можно считать компромиссным решением, но выбор в пользу джинна не всегда будет удачным. Во многих отношениях ему свойственны недостатки обеих каст. Кажущаяся безопасность ИИ-инструмента также может быть иллюзорной. Чтобы такая система могла стать достаточно универсальной и заменить сверхразумного агента, она должна включать в себя чрезвычайно мощные процессы внутреннего поиска и планирования. Эти процессы могут иметь незапланированные последствия в виде поведения агентского типа. В этом случае было бы лучше сразу разрабатывать систему как агента, чтобы программисты могли четче видеть, какие критерии определяют результаты ее работы.
Глава одиннадцатая
Сценарии многополярного мира
Мы уже не раз убеждались (особенно в главе восьмой), какой опасной может быть развязка, приводящая к однополярному миру, когда единственный сверхразум получает решающее стратегическое преимущество и использует его для формирования синглтона. В этой главе мы рассмотрим, что может произойти в случае многополярного исхода: возникновение постпереходного общества со множеством конкурирующих сверхразумных агентов. Этот сюжетный вариант интересует нас по двум причинам. Во-первых, одним из решений проблемы контроля может быть метод социальной интеграции — его достоинства и недостатки были отмечены в девятой главе. Детально он будет описан в этой главе. Во-вторых, даже при отсутствии намеренного стремления создать многополярные условия, чтобы решить проблемы контроля, они могут сложиться сами собой. Как тогда будет выглядеть исход? Совсем необязательно, что появившееся общество, основанное на конкуренции, окажется перспективным и просуществует сколь-нибудь долго.
В сценарии однополярного мира, когда критический рубеж уже перейден и наступило правление синглтона, — все, что произойдет потом, будет полностью зависеть от его системы ценностей. Поэтому исход может быть как очень хорошим, так и очень плохим, в зависимости от того, какие у синглтона замыслы. В свою очередь, его ценностная ориентация зависит от того, была ли решена проблема контроля и — если была решена — от целей проекта, в рамках которого был создан синглтон.
Итак, те, кого интересуют возможные сценарии исхода с формированием синглтона, могут опереться на три источника возможной информации: факторы, на которые синглтон воздействовать не может (например, физические законы); конвергентные инструментальные цели; предположительные конечные цели.
В сценариях многополярного мира появляется дополнительный набор условий, тоже играющий информационную роль, — разные характеры взаимоотношений агентов. Вследствие их взаимодействия возникает та или иная социальная динамика, которую можно проанализировать, используя знания по теории игр, экономике и теории эволюции, также подойдут некоторые элементы политологии и социологии — настолько, насколько мы освободим их от случайных черт человеческого опыта. Было бы странно ожидать, что из этих источников мы сможем извлечь достаточно информации для составления полной картины постпереходного мира, но они помогут наметить самые яркие вероятные сценарии и оспорить самые беспочвенные предположения.
Мы начнем с изучения модели сценария, характеризующейся определенными экономическими показателями: низким уровнем регулирования, сильной защитой прав собственности и умеренным распространением недорогих систем искусственного интеллекта1. Так называемую экономическую модель чаще всего связывают с именем американского экономиста Робина Хэнсона, который стал первооткрывателем этой темы. Далее мы рассмотрим некоторые эволюционные соображения и изучим перспективы многополярного постпереходного мира, впоследствии превращающегося в синглтон.
О лошадях и людях
Универсальный искусственный интеллект мог бы стать заменой человеческому интеллекту. Причем УИИ будет способен выполнять не только умственную работу, но и физический труд — правда, последним он займется не сам, а заменит людей на исполнительные устройства и роботизированные механизмы. Предположим, работники-машины, которых очень легко воспроизводить, стали и дешевле, и способнее работников-людей почти во всех профессиях. Что тогда произойдет?
Заработная плата и безработица
С появлением легко воспроизводимых работников-машин упадут рыночные зарплаты. Человек сохранит свою конкурентоспособность только в тех сферах профессиональной деятельности, где клиенты-люди будут искать общения с себе подобными, а не машинами. Сегодня товары, сделанные вручную или выпущенные коренными жителями тех или иных мест по традиционной технологии, часто стоят дороже. Возможно, и в будущем потребители будут выбирать продукты, произведенные людьми, а также предпочитать спортсменов-людей, художников-людей, возлюбленных-людей и политиков-людей, хотя с функциональной стороны искусственное существо окажется неотличимым от человека и даже превосходящим его. Неясно только, сколько продлятся эти предпочтения. Ведь если киберальтернативы станут заметно превосходить людей на всех направлениях, возможно, ценить их начнут больше.
Для выбора потребителя может оказаться важным такой параметр, как внутренний мир человека, оказывающего услугу или производящего товар. Меломаны будут особенно ценить тот факт, что исполнители чувствуют музыку и ощущают реакцию своих слушателей. Музыкант, лишенный субъективного восприятия, выглядит скорее как высококачественный проигрыватель, способный создать трехмерную картинку и естественным образом взаимодействующий с публикой. Могут быть созданы машины, способные воспроизводить психические состояния, характерные для людей, выполняющих то же задание. Однако даже при наличии идеальной имитации субъективного опыта некоторые люди выберут «органическую» работу. Такие предпочтения могут иметь, например, идеологические или религиозные корни. По аналогии с тем, что многие мусульмане и евреи избегают употреблять в пищу харамные и некошерные продукты, в будущем появятся потребители, сторонящиеся товаров и услуг, произведенных с привлечением искусственного интеллекта.
