Таким образом, все наши соображения указывают на высокую вероятность, что власть, наделенная сверхразумом и обладающая абсолютным стратегическим преимуществом, на самом деле способна привести к формированию синглтона. Целесообразность и привлекательность такого шага, безусловно, зависит от природы созданного синглтона, а также от версии будущей интеллектуальной жизни, которая будет выбрана из альтернативных многополярных сценариев. Мы еще вернемся к этим вопросам в следующих главах. Но вначале разберемся, почему и каким образом сверхразум окажется мощной и действенной силой, способной решать судьбы всего мира.
Глава шестая
Разумная сила, не имеющая себе равной
Допустим, сверхразумная цифровая действующая сила уже появилась и по каким-то своим резонам собирается установить новый миропорядок — возможен ли такой поворот событий? В этой главе мы поговорим на темы полномочий и власти. Какой властью будет облечен этот сверхразумный агент? Велика ли окажется сфера его полномочий? Каким образом перехватывалось им право на управление? В общих чертах поговорим о развитии сценария, по которому происходит перевоплощение простой программной модели в сверхразумную цифровую действующую силу, сумевшую занять позицию синглтона и приобрести абсолютную власть. В завершение — несколько замечаний о власти над природой и другими агентами.
Основная причина, по которой человечество занимает на нашей планете господствующее положение, заключается в том, что головной мозг человека обладает чуть более расширенными возможностями по сравнению с головным мозгом остальных живых существ1. Благодаря более развитому интеллекту люди производят, накапливают и преумножают знания, передавая их из поколения в поколение, и, таким образом, сохраняют свое культурное наследие. Накоплен уже такой багаж знаний, технологий и опыта, что мы сейчас живем в мире, в котором перемешалось все, на что способно человечество: космические полеты, водородная бомба, генная инженерия, компьютеры, агропромышленные фермы, инсектициды, международное движение за мир и прочие реалии современной цивилизации. Ученые называют нашу эпоху антропоценом — таким образом они обозначают геоисторический период особой человеческой активности, имеющий свои специфические признаки: биологические (биотические факторы окружающей среды); геологические (осадочные отложения); геохимические2. По одной из оценок, на долю человека приходится двадцать четыре процента чистой первичной продукции планетарной экосистемы3. И все-таки люди далеко не исчерпали всех ресурсов технологического процесса.
Все это невольно наводит на размышление, что любая действующая сила с интеллектом, существенно превышающим человеческий, будет обладать практически неограниченными возможностями. Самостоятельные цифровые сущности сумеют вместить в себя такую сумму знаний, что гораздо быстрее нашего создадут новую технологическую цивилизацию. Может быть, не в пример нам, людям, они задействуют всю мощь своего разума, чтобы выработать намного более надежную и результативную стратегию ее существования и развития.
Рассмотрим некоторые из тех возможностей, которые мог бы иметь сверхразум, и поговорим о том, как он ими распорядится.
Функциональные возможности и непреодолимая мощь
В раздумьях о возможном воздействии сверхразума на нашу жизнь важно удержаться от основной ошибки и не наделять его человеческими качествами. Антропоморфизм порождает необоснованные ожидания по поводу самой природы искусственного разума: траектории его роста, начиная с зародыша ИИ; якобы его психических особенностей; его мотивированности и, наконец, потенциала зрелого сверхразума.
По общему мнению, сверхразумная машина будет скорее напоминать заумного зануду — этакое существо с энциклопедическими знаниями, но социально незрелое; последовательное в действиях, но обделенное интуицией и творческим началом. Вероятно, мы исходим из собственных представлений о современном компьютере. Что мы видим, общаясь с ним ежедневно? Ему нет равных в вычислениях, он лучше всех умеет хранить информацию и оперировать огромным количеством фактов, он аккуратно следует любым инструкциям. И никаких тебе социальных и политических контекстов, никаких напоминаний о нормах трудового права, никаких ужимок и задних мыслей — все выполняется безропотно и без эмоций. Наши ассоциации находят еще большее подтверждение, когда мы понимаем, что большей частью погруженные в компьютеры люди — настоящие нерды, то есть слегка отвлеченные от жизни зануды и педанты. Почему бы не предположить, что вычислительный интеллект самого высшего порядка будет иметь подобные свойства — только выраженные в самой сильной степени?
Отчасти этим эвристическим приемом можно было бы воспользоваться, изучая раннюю стадию создания зародыша ИИ. (Вряд ли такой подход будет справедлив в случае имитационной модели головного мозга или человека с улучшенными когнитивными функциями.) Искусственному интеллекту — которому лишь предстоит еще стать сверхразумом — в стадии несформированности все-таки не хватает многих навыков и способностей, свойственных человеку от природы. Поэтому зародыш ИИ со всеми своими сильными и слабыми свойствами действительно мог бы отдаленно напоминать нерда с его высоким коэффициентом умственного развития и крайне низкими социальными навыками. Существенной характеристикой зародыша ИИ, помимо легкости усовершенствования (низкая сопротивляемость), является легкость приложения силы оптимизации для повышения уровня интеллектуальных способностей системы; безусловно, это только идет на пользу в деле изучения таких областей, как математика, программирование, проектирование, информатика, и всего прочего, что, кстати, составляет сферу интересов нердов. Допустим, зародыш ИИ на какой-то стадии своего развития действительно имеет исключительно «яйцеголовый» набор способностей, но вряд ли это будет означать, что из него обязательно разовьется зрелый сверхразум со столь же узкопрофессиональной направленностью. Вспомним разницу между прямой и опосредованной досягаемостью. Когда есть навык развития умственных способностей, все остальные интеллектуальные способности находятся в пределах опосредованной досягаемости системы: она может разрабатывать новые когнитивные модули и приобретать по мере необходимости любые навыки, даже включая сопереживание и политическое чутье, — короче говоря, все те свойства, которые современный человек хотел бы находить в бездушных машинах, потому с такой готовностью он наделяет их антропоморфными качествами.
Хорошо. Предположим, мы признаем, что сверхразум может быть наделен навыками и способностями, в принципе, присущими человеку. Но если к этим характеристикам добавятся свойства, человеку совсем не свойственные? В таком случае склонность к антропоморфизму может сыграть с людьми дурную шутку, приведя к недооценке уровня искусственного интеллекта — они просто не заметят, насколько качество функционирования ИИ превышает производительность человеческого мозга. Как мы уже знаем, Элиезер Юдковский очень настойчиво призывает избегать подобной ошибки: наше интуитивное понимание разницы между «умный» и «глупый» мы выводим из собственного представления, что на интеллектуальной шкале возможностей человека есть лишь эти две крайние точки, в то время как установленный нами диапазон абсолютно ничтожен по сравнению с той дистанцией, какая простирается между любым человеческим умом и сверхразумом4.
В третьей главе нами были рассмотрены некоторые потенциальные источники преимуществ искусственного интеллекта. Преимущества сверхразума в сравнении с разумом человека так велики, что понимание степени этого превосходства вовсе не лежит в плоскости того банального преставления, какое мы вкладываем, говоря о гениальном ученом и простом обывателе, — оно должно быть в парадигме сравнения интеллектов среднестатистического человека и насекомого или червя.
Было бы удобно ввести количественный показатель когнитивных способностей любой интеллектуальной системы вроде знакомого нам коэффициента умственного развития (IQ) или какой-то вариации рейтинга Эло (метод расчета относительной силы людей в играх, в которых участвуют двое игроков, например в шахматах). Но эти показатели бесполезны, когда речь заходит об универсальном искусственном интеллекте, превосходящем человеческий уровень. Неужели мы будем ставить вопрос в такой плоскости: а какова вероятность, что сверхразум обыграет человека в шахматы? Теперь поговорим об IQ — в принципе, этот показатель информативен лишь постольку, поскольку у нас есть ряд представлений, как его значение коррелирует с результатами, имеющими отношение к реальной жизни5. Например, мы располагаем данными, что люди, у которых уровень IQ составляет 130 пунктов, с большей вероятностью, чем люди, у которых уровень IQ составляет 90 пунктов, будут лучше учиться и преуспевать в дисциплинах, требующих высоких умственных способностей. Но предположим, мы установили, что в будущем у какого-то ИИ IQ будет равен 6455 пунктам, — и что? У нас нет никаких соображений о том, что этот ИИ вообще собирается делать. Мы даже не можем утверждать, будет ли он превосходить обычного взрослого человека с точки зрения общего интеллектуального уровня. Может быть, этот ИИ окажется просто системой с узкоспециализированными алгоритмами, созданной ради единственной цели: с нечеловеческой точностью и скоростью обрабатывать вопросы стандартной проверки умственных способностей — и ни для чего более.
