определить и распознать сознание в системах искусственного интеллекта, то рискуем однажды узнать, что невольно истязали триллионы триллионов искусственных разумов, наделенных сознанием, и причинили немыслимые по масштабам страдания.
Сознание – важнейший открытый вопрос, касающийся будущего ИИ, однако не менее, пожалуй, важен и вопрос о свободе воли. Сегодня мы делегируем машинам все больше и больше мыслительных задач. Мы позволяем ИИ брать на себя управление все более важными вещами – как модерировать контент и автоматически отмечать нежелательное, так и управлять автомобилями и военными беспилотниками.
Однако кого винить, если что-то пойдет не так? Если продвинутый беспилотник случайно выстрелит и убьет мирного жителя, кого нам увольнять – солдата, который должен был следить за работой дрона, инженеров, разработавших бортовую систему ИИ, или еще кого-то? Да и вообще – насколько умным и автономным должен быть ИИ беспилотника, чтобы мы сочли, что он сам несет моральную ответственность за свои действия? Если мы хотим и дальше основывать теорию права на свободе воли, нам придется придумать, как дать ей гораздо более точное определение, а также решить, когда начинать применять это определение к машинам.
– Ой, да ладно вам, – скажет кто-нибудь. – Я не беспокоюсь. Уверен, будет очевидно, когда система искусственного интеллекта станет сознательной в такой степени, что мы должны будем беспокоиться, не страдает ли она. Мы точно заметим, когда у нее появится свобода воли и все такое прочее.
Думаю, это не так. И еще я думаю, что правильный способ размышлять о сознании и свободе воли должен быть подсказан – хотя бы отчасти – квантовой физикой.
Почему мы не приучаем детей к порядку при помощи пульверизатора
Вряд ли наши интуитивные представления о сознании помогут понять, когда пора начинать задумываться о страданиях искусственного интеллекта. И вот почему.
У нас есть опыт осмысления сознания с двух точек зрения. Это развитие человека и эволюция.
Начнем с развития человека. Как вид мы тратим много коллективного времени на размышления об относительном уровне сознания у сперматозоида, яйцеклетки, эмбриона, плода, младенца, ребенка, подростка и взрослого. У большинства из нас есть четкие представления о том, где в этом спектре нужно провести грань между бессознательными существами, не имеющими морального статуса, и сознательными существами, о которых мы должны заботиться. И хотя насчет точного расположения этой грани ведутся жаркие споры, консенсуса гораздо больше, чем кажется на первый взгляд: почти всякий согласится, что у сперматозоида и яйцеклетки нет никакого морального статуса, а у новорожденного ребенка – есть.
Однако еще у нас есть опыт рассмотрения проблемы сознания через призму эволюции. Вот уже сотни тысяч лет современные люди взаимодействуют с разными биологическими видами и изучают их – от грибов, водорослей и деревьев до муравьев, мышей и обезьян. И опять же у большинства из нас есть четкие представления о том, где в этом спектре нужно провести грань между «существами, сознательными в достаточной степени, чтобы нас это волновало» и «существами бессознательными из практических соображений».
Однако интуитивные представления о сознании, которые выработались у нас на основании опыта, связанного с развитием человека и эволюцией, не согласуются друг с другом. Критерии, по которым кошки нам кажутся более сознательными, чем амебы, сильно отличаются от критериев, по которым младенцы кажутся нам более сознательными, чем эмбрионы. Кошки во многих отношениях впечатляют больше, чем амебы: например, они способны быстро обучиться акробатическим трюкам и разрабатывать сложные планы охоты. А младенцы впечатляют больше, чем эмбрионы, по другим причинам: они могут ориентироваться в мире, ползать и лепетать «папа» и «мама».
Не совсем понятно, как можно сравнивать кошачью акробатику с базовыми вербальными навыками младенцев. Но каким-то образом эволюция довела интеллект млекопитающих вроде кошек примерно до уровня человеческого, и процесс биологического развития приводит младенцев к той же конечной точке. И если бы вы пользовались своими интуитивными представлениями о развитии человека, чтобы предсказать эволюционные шаги, которые в итоге приведут приматов к созданию великих цивилизаций, вы бы крупно ошиблись.
Так стоит ли ожидать, что наш опыт, связанный с развитием человека и эволюцией, окажется полезен для ответа на вопрос о сознании у систем ИИ?
Насколько я могу судить, не стоит. Стоит ожидать, что ИИ будет подбираться к сознанию с совершенно иной стороны – не имеющей отношения к нашему опыту эволюции или развития человека. В конце концов, мы быстро создаем системы ИИ со все более масштабными искусственными мозгами, обученными на все большем объеме данных. С таким процессом люди еще никогда не сталкивались, никогда его не изучали. Если где-то на этом пути натянута растяжка, едва ли мы ее заметим, если будем искать «общепринятые» признаки сознания, опираясь на свой нынешний опыт.
То же самое, кстати, справедливо и для свободы воли. Большинство людей не думает, будто бездушные химические соединения обладают свободой воли, однако считает, что у человеческих существ она все-таки есть, и поэтому должно быть какое-то эволюционное объяснение, как она появилась, постепенно или внезапно, при переходе от молекул к клеткам, животным и людям. Точно так же мы можем представить себе постепенный переход, происходящий в процессе развития человека, – от сперматозоидов и яйцеклеток к морально ответственным взрослым.
Интуитивные представления о свободе воли и моральной ответственности, почерпнутые из размышлений об эволюции и развитии человека, тоже трудно примирить. Когда кошка царапает кресло, мы тут же виним в этом кошку и больше никого. Но если бы то же самое сделал маленький ребенок, многие из нас подумали бы: «Ай-яй-яй, куда только смотрят родители?!» Как можно надеяться распространить эти интуитивные представления на искусственный интеллект?
Если интуиция не поможет, особых вариантов у нас не остается, кроме как вернуться к первоосновам, то есть, помимо всего прочего, к физике.
Физика при жестком дедлайне
Если мы не можем полагаться ни на интуицию, ни на накопленный опыт, чтобы провести грань между сознательным и морально ответственным искусственным интеллектом и искусственным интеллектом бессознательным и морально нейтральным, придется нам опираться на идеи, под которыми есть более надежная основа.
И хотя физика может не предложить полного решения, она должна стать частью уравнения. Какая бы интерпретация квантовой механики в итоге ни оказалась верной, ясно одно: то, что значит быть, определяется развитием событий на квантовом уровне. Квантовая механика – это сцена, на которой развертывается само бытие, а следовательно, это и подразумеваемый фон для любых наших моральных выкладок.
Если прав Госвами, тогда возможно, что любой объект в мире обладает сознанием или является частью большего сознания. Лично я не думаю, что это так, но если он окажется прав, то нам, вероятно, уже сейчас стоит беспокоиться, что чувствуют создаваемые нами системы искусственного интеллекта.
Если прав фон Нейман, тогда возможно, что
