Но если мы создадим искусственный разум, равный человеческому, то что может помешать нам создать разум, превосходящий человеческий? Разум, для которого проблемы, кажущиеся нам сейчас сложными и даже нерешаемыми, будут простыми и понятными. Дальше получается еще интереснее. Если человек создаст разум, более совершенный и мощный, чем его собственный, ничто не помешает этому созданному разуму создать еще более мощного искусственного собрата. Причем произойдет это не только при молчаливом согласии, но и при непосредственной поддержке человечества, которому все увеличивающаяся мощность компьютеров для решения своих, человеческих задач просто необходима. Ведь чем мощнее компьютеры, тем лучше наша жизнь. В сущности, для человечества компьютер — это такой относительно безопасный наркотик, дозу которого постоянно хочется увеличивать. Вреда от этого наркотика мы не ощущаем. Пока.
Я не собираюсь никого пугать ни «бунтом машин», ни появлением «терминаторов», истребляющих людей, ни наступлением эпохи «матрицы». Во-первых, предотвратить такой бунт совсем не сложно. И дело тут даже не в «трех законах робототехники», хотя и в них тоже. Три закона, целью которых является защита человека от возможных действий разумных машин, были сформулированы известным американским фантастом русского происхождения Айзеком Азимовым в рассказе «Хоровод» еще в 1942 году. Вот эти законы, намертво закрепленные в любом искусственном интеллекте.
Первый закон: робот не может причинить вреда человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Второй закон: робот должен выполнять приказы человека в той мере, в какой это не противоречит первому закону.
Третий закон: робот должен заботиться о своей безопасности в той мере, в какой это не противоречит первому и второму законам.
Кроме того, значительно позже, уже в 1986 году, Азимов дополнил этот свод нулевым законом: робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред.
Так вот, дело не в том, что человек способен в любой момент выключить «зарвавшийся» компьютер (это может оказаться непросто сделать), а в том, что рядом с суперинтеллектом человек окажется существом более низкого порядка. Даже самое минимальное отставание уже приведет к стойкому непониманию происходящего. Компьютер будет сам ставить перед собой задачи и сам будет их решать, причем методами, которые человек не сможет (или не будет успевать) постигнуть. Вокруг нас появятся объекты, тайну работы которых нам не под силу будет понять.
Нельзя сказать, что при ИИ человечеству будет жить плохо. Кошка не представляет, и, наверное, не пытается представить, по какому принципу работает электрообогреватель, но это не мешает ей греться около него.
Обогнать наш разум, кажущийся нам совершенным, вовсе не сложно. Нейрофизиологи говорят, что вычислительные способности человеческого мозга составляют 1014 (сто триллионов) операций в секунду. При этом современные суперкомпьютеры уже оперируют скоростями 1015 операций в секунду. По оценке физика Ричарда Кэрригена из Национальной американской лаборатории ускорения Ферми (US Fermi National accelerator laboratory) в Иллинойсе, объем сознательной памяти человека составляет всего 2,5 гигабайта. Это маловато даже по сравнению с обычными компьютерами, у которых только оперативная память уже сейчас иногда зашкаливает за 4 гига, а уж про жесткий диск с его минимально-стандартными 60 гигабайтами и говорить нечего. Нейрофизиологи установили, что в каждый конкретный момент человеческий мозг может «оперировать» не более чем пятью — девятью объектами (средний человек обычно держится на уровне семи объектов). Поэтому большинство телефонных номеров на Земле состоит из семи цифр: человек «на ощупь» определил наиболее продуктивное количество предметов. Число семь считается чуть не священным. Даже в поговорках внимание к нему отражено: «Семеро с ложкой, один с сошкой», «Семеро одного не ждут», «За семь верст киселя хлебать». Мы ходим за семь морей, поднимаемся на седьмое небо и т. д. Для нас просто то, что до семи, дальше начинаются сложности.
Нам сложно понять принцип решения дифференциальных уравнений, сложно взять в уме не только интеграл, но даже извлечь квадратный корень из трехзначного числа, так как при этом надо оперировать с большим количеством цифр. Для компьютера таких проблем не нет. Для него тот же интеграл — задача на уровне «У Васи было три яблока. Одно он съел, сколько яблок у Васи осталось». Для ИИ будет довольно сложно объяснить человеку вещи, кажущиеся ему элементарными, а уж со сложными он и заморачиваться не будет, успокоив себя тем, что это человеческому разуму без надобности.
Итак, с 2027 года, или с любого другого, в котором будет наконец создан искусственный интеллект, превышающий по возможностям интеллект человеческий, вокруг нас начнут происходить события и будут появляться предметы, смысла и устройства которых нам не удастся постичь. А поскольку ИИ, в отличие от нашего мозга, будет иметь реальную возможность самосовершенствоваться, все новое будет происходить с возрастающей скоростью. Появятся машины, приборы, установки, непонятно что делающие и неизвестно как работающие.
Такую точку в истории человечества, когда мы перестанем понимать, что происходит вокруг нас, ученые назвали технологической сингулярностью. Обычно этот термин приписывают американскому математику и писателю-фантасту Вернору Винджу, в 1993 году на симпозиуме, проводимом Центром космических исследований (НАСА) и Аэрокосмическим институтом Огайо, представившему статью, которая так и называлась «Технологическая сингулярность». В действительности впервые это словосочетание употребил еще в середине прошлого века Джон фон Нейман. По воспоминаниям друзей, великий ученый часто говорил «о непрерывно ускоряющемся техническом прогрессе и переменах в образе жизни людей, которые создают впечатление приближения некоторой важнейшей сингулярности в истории земной расы, за которой все человеческие дела в том виде, в каком мы их знаем, не смогут продолжаться». В математике «сингулярностью» называется точка, в которой функция «уходит» в бесконечность. Единица, деленная на ноль, с точки зрения среднего человека — бессмыслица.
О том, как именно наступит эта сингулярность, писал в 1960-х годах другой известный ученый, британский статистик Ирвинг Джон Гуд: «Определим сверхразумную машину как машину, которая способна значительно превзойти все интеллектуальные действия любого человека, как бы умен тот ни был. Поскольку способность разработать такую машину также является одним из этих интеллектуальных действий, сверхразумная машина может построить еще более совершенные машины. За этим, несомненно, последует "интеллектуальный взрыв", и разум человека намного отстанет от искусственного. <…> Таким образом, первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать ее под контролем… И вероятность того, что в XX веке сверхразумная машина будет построена и станет последним изобретением, которое совершит человек, выше, чем вероятность того, что этого не случится».
Еще в 1904 году, когда не было даже слова «компьютер», американский историк Генри Адамс (1838–1918) написал эссе «Закон ускорения», в котором вывел «квадратичный закон истории». В соответствии с ним, каждый новый период в истории человечества по продолжительности примерно равнялся корню квадратному из длительности периода предыдущего. Чуть позже, в 1909 году, он опубликовал другой труд на эту тему — «Закон фазового перехода применительно к истории». По Адамсу, вслед за длившимся 90 тысяч лет «религиозным периодом» следовал 300-летний «механический период». На смену ему пришел 17-летний «электрический период», который должен был перейти в «эфирный период» продолжительностью 4–5 лет. Окончание последнего периода обозначало достижение человечеством предела своих возможностей, после чего должен был произойти фазовый переход на некий новый уровень развития. Так как точно установить даты прошедших периодов было невозможно, Адамс определил «вилку» этого перехода в промежутке между 1921 и 2025 годами. А во второй половине XX века американский философ и историк техники Льюис Мамфорд составил график роста количества значимых изобретений. Получилась довольно четкая гипербола, уходящая в конце 2020-х годов в бесконечность, то есть — в сингулярность. Согласно Мамфорду, техника постепенно «перестает быть простым инструментом, но сама становится активным субъектом реальности, трансформирующим человека по своему образу и подобию».
Конечно, многие возразят, что никакой катастрофы в этом нет. Наоборот, ИИ сделает нашу жизнь максимально комфортной. Человечество всю жизнь стремилось создать мир, в котором вареники сами летели бы в рот, а проблемы решались бы еще до их возникновения. Что ж, возможно. Но это уже будет не человеческая цивилизация. Мы не будем работать в современном смысле этого понятия, поскольку нашему хозяину это просто не будет нужно. Все, что можем выполнить мы, машины будут делать значительно лучше. Наверное, у нас останется какая-то своя культура, которая будет гораздо беднее культуры компьютерной, а ее мы не сможем постигнуть. Мы будем рисовать картины, сочинять музыку, писать стихи, но компьютер будет творить лучше, чем мы. Слоны тоже, как уверяют зоопсихологи, любят рисовать.
