Все это не значит, однако, что нам не о чем беспокоиться. Первая большая опасность, как в случае любой технологии, — то, что искусственный интеллект может попасть в плохие руки. Чтобы какой-нибудь шутник или преступник не запрограммировал искусственный интеллект захватить мир, лучше организовать ИИ-полицию, способную выловить и стереть его до того, как все зайдет слишком далеко. Лучшая страховка против буйства мощного искусственного интеллекта — еще более мощный искусственный интеллект, поддерживающий мир на планете.
Второй повод для беспокойства — вероятность, что люди сами, добровольно сдадут власть. Все начнется с предоставления прав роботам: далеко не всем это кажется так же абсурдным, как мне. В конце концов, мы ведь уже дали права животным, хотя они нас об этом не просили. Права роботов могут показаться логичным этапом в расширении «круга эмпатии». Почувствовать сострадание к ним несложно, особенно если их специально разработали, чтобы вызывать такие чувства: в этом преуспели даже тамагочи, японские «виртуальные питомцы» с тремя кнопками и жидкокристаллическим дисплеем. Гонка за наращивание эмпатии начнется с первого появившегося в продаже человекообразного робота, потому что они будут продаваться намного лучше, чем обычные металлические. Дети, воспитанные роботами-нянями, на всю жизнь сохранят слабость к добрым электронным друзьям. Эффект «зловещей долины» — дискомфорт, который вызывают существа, почти, но не совсем идентичные человеку, — будет им незнаком, потому что они с детства знакомы с причудами роботов, а в подростковом возрасте, может быть, для крутости будут даже им подражать.
Следующий этап ползучей передачи власти искусственному интеллекту — разрешить ему принимать вообще все решения: он ведь гораздо умнее. Здесь надо быть очень осторожным. Может быть, компьютеры и правда умнее нас, но они служат тому, кто разработал их функции оценки. Это проблема «Волшебника страны Оз». В мире разумных машин надо будет постоянно следить за тем, чтобы они делали ровно то, что от них требуется, причем и на входе (целеполагание), и на выходе (проверяли, выдала ли машина то, что от нее просили). Если этого не сделаете вы сами, сделает кто-то другой. Машины могут помочь человечеству осознать свои желания, но самоустранившийся проигрывает: совсем как при демократии, но в еще большей степени. Об этом не принято говорить, но человек довольно легко попадает в подчинение, а ведь любой достаточно развитый искусственный интеллект неотличим от бога, и, возможно, никто не станет возражать против приказов какого-то огромного непогрешимого компьютера. Вопрос в том, кто надзирает за надзирателем. Будет ли искусственный интеллект путем к совершенной демократии или к тотальной диктатуре? Пора начать вечное дежурство.
Третий и, наверное, самый серьезный повод для беспокойства — то, что, как джинн из сказки, машины начнут давать нам то, чего мы просим, а не то, чего мы на самом деле хотим. Это не гипотетический сценарий: обучающиеся алгоритмы постоянно так поступают. Мы обучаем нейронные сети узнавать лошадей, а они учатся узнавать коричневые пятна, потому что все лошади в обучающем наборе были гнедые. Вы купили часы, и Amazon начинает рекомендовать схожие предметы — еще больше часов, — хотя они вам уже совершенно ни к чему. Если проверить все решения, которые сегодня принимают компьютеры — например, о выдаче кредитов, — можно заметить, что они зачастую необоснованно плохи. Человек был бы не лучше, если бы его мозг работал по методу опорных векторов и все познания об оценке кредитоспособности были бы получены из тщательно проработанной, но никуда не годной базы данных. Люди беспокоятся, что компьютеры станут слишком умны и захватят мир, однако настоящая проблема в том, что мир уже захвачен глупыми компьютерами.
Эволюция, часть вторая
Даже если компьютеры пока еще не блещут интеллектом, не вызывает сомнения, что их умственные способности очень быстро растут. Еще в 1965 году британский статистик Ирвинг Гуд113, во время Второй мировой работавший с Аланом Тьюрингом над взломом «Энигмы»114, размышлял на тему приближающегося взрывного роста интеллекта. Гуд указывал: если мы способны разработать машины умнее нас самих, те, в свою очередь, должны быть способны разработать машины, которые будут умнее их, и так до бесконечности, оставляя человеческий разум далеко позади. В 1993 году Вернор Виндж115 окрестил это «сингулярностью». Эту концепцию широко популяризировал Рэймонд Курцвейл, который в книге The Singularity Is Near («Сингулярность рядом») утверждает, что момент, при котором разум машин превысит человеческий — давайте назовем его точкой Тьюринга, — не только неизбежен, но и ждет нас в течение ближайших нескольких десятилетий.
Очевидно, что без машинного обучения — программ, которые разрабатывают программы, — сингулярность не наступит. Еще для этого понадобится достаточно мощное оборудование, но оно не отстает. Точки Тьюринга мы достигнем вскоре после того, как изобретем Верховный алгоритм. (Я готов поспорить с Курцвейлом на бутылку Dom Pérignon, что это произойдет раньше, чем мы сконструируем мозг путем обратной инженерии — предложенного им метода достижения искусственного интеллекта, равного человеческому.) При всем уважении к Курцвейлу, однако, это приведет не к сингулярности, а к чему-то намного более интересному.
Термин «сингулярность» пришел из математики — там он обозначает точку, в которой функция стремится к бесконечности. Например, у функции 1⁄x такая точка — это x = 0, потому что результат деления единицы на ноль равен бесконечности. В физике классический пример сингулярности — черная дыра: точка бесконечной плотности, где конечное количество материи сжимается в бесконечно малое пространство. Единственная проблема с сингулярностью заключается в том, что на самом деле она не существует. (Когда вы последний раз делили торт между нулем человек и каждый из них получал бесконечный кусок?) Если физическая теория предсказывает нечто бесконечное, значит, с ней что-то не в порядке. Наглядный пример: общая теория относительности предсказывает, что черные дыры имеют бесконечную плотность, предположительно из-за того, что игнорируют квантовые эффекты. Аналогично разум не может развиваться вечно. Курцвейл признает это, но усматривает в совершенствовании технологии серию экспоненциальных кривых (скорость процессоров, объем памяти и так далее) и утверждает, что границы этого роста так далеки, что можно не принимать их во внимание.
Утверждение Курцвейла страдает переобучением. Он правильно обвиняет других в склонности к линейной экстраполяции — люди часто видят прямые линии вместо кривых, — но затем сам становится жертвой более экзотического недуга: видит везде экспоненты. В пологих кривых (ничего не происходит) он видит еще не начавшийся экспоненциальный рост. Однако кривые совершенствования технологий — это не экспоненты, а сигмоиды, наши добрые знакомцы из главы 4. Их начальные отрезки действительно легко перепутать с экспонентами, но затем они быстро расходятся. Большинство кривых Курцвейла — это следствия из закона Мура, который почти исчерпал себя. Курцвейл утверждает, что на смену полупроводникам придут другие технологии и на одних сигмоидах будут возникать другие, каждая круче предыдущей, но это лишь домыслы. Когда Курцвейл идет еще дальше и утверждает, что экспоненциально ускоряющийся прогресс виден не только в человеческих технологиях, но и во всей истории жизни на Земле, это восприятие по крайней мере частично связано с эффектом параллакса: нам кажется, что вещи, которые расположены ближе, движутся быстрее. Трилобитам116, жившим в разгар Кембрийского взрыва, можно простить веру в экспоненциально ускоряющийся прогресс, но затем последовало большое замедление. Тираннозавры, вероятно, предложили бы вместо этого закон роста размеров организма. Эукариоты (и мы в том числе) эволюционируют медленнее, чем прокариоты117 (например, бактерии). Эволюция ускоряется далеко не равномерно, а как придется.
Чтобы обойти проблему невозможности бесконечно плотных точек, Курцвейл предложил приравнять сингулярность к горизонту событий черной дыры: области, где гравитация настолько сильна, что не выпускает даже свет. То же самое, говорит он, и с сингулярностью: это точка, за пределами которой технологическая эволюция настолько ускоряется, что люди не могут ни предсказать ее, ни понять, что произойдет. Если это и есть сингулярность, значит, мы уже ее достигли: мы не в состоянии угадать заранее, что придумает обучающийся алгоритм, и часто даже не понимаем полученный результат. Фактически мы уже живем в мире, постижимом для нас лишь отчасти. Главное различие заключается в том, что наш мир в какой-то степени создан нами, а это, безусловно, прогресс. Мир за пределами точки Тьюринга будет непонятен для нас не больше, чем плейстоцен118. Как всегда, мы сосредоточимся на том, в чем можем разобраться, а остальное назовем случайностью (или провидением).
