По мере развития технологий человеческое и компьютерное будут все теснее переплетаться. Проголодались? Yelp предложит пару хороших ресторанов. Вы выбираете один из них и смотрите на подсказки GPS. Электроника автомобиля контролирует вождение на низком уровне. Все мы уже киборги. В реальности автоматизация не уничтожает, а создает возможности: некоторые профессии исчезают, но гораздо больше появляется. Прежде всего, она делает возможными вещи, которые в исполнении человека слишком дороги. Банкоматы отчасти пришли на смену банковским кассирам, но прежде всего они дали возможность снимать деньги в любом месте и в любое время. Если бы пиксели раскрашивали живые мультипликаторы, мы не знали бы «Истории игрушек»111 и компьютерных игр.
Тем не менее может возникнуть вопрос: не останутся ли люди без работы? Я думаю, не останутся. Даже если когда-нибудь — очень нескоро — компьютеры и роботы опередят нас во всем, как минимум некоторым из нас будет чем заняться. Робот может идеально выполнить роль бармена — вплоть до милой беседы с клиентом, — но хозяева заведения все равно отдадут предпочтение человеку, просто потому, что он человек. Рестораны с официантами-людьми будут престижнее, как сейчас вещи ручной работы. У нас есть кино, автомобили и моторные лодки, но люди все равно смотрят спектакли, катаются на лошадях и ходят под парусом. Еще важнее, что некоторые специалисты окажутся поистине незаменимыми, потому что в их работе есть то, чего у компьютеров и роботов не может быть по определению: человеческий опыт. Я не имею в виду «сентиментальные» занятия, потому что сентиментальность несложно подделать: посмотрите на успехи механических домашних животных. Речь идет о гуманитарных дисциплинах, которые невозможно понять без опыта, доступного только людям. Сейчас есть опасения, что гуманитарные науки вошли в штопор и вымирают, однако, когда другие области будут автоматизированы, они восстанут из пепла. Чем обширнее и дешевле автоматизированное производство, тем ценнее вклад гуманитариев.
В то же время долгосрочные перспективы специалистов по точным и естественным наукам, к сожалению, не самые радужные. Науку будущего вполне могут продвигать только компьютеры, а люди, ранее называвшиеся учеными (такие как я сам), вынуждены будут положить жизнь на то, чтобы понять научные достижения, сделанные компьютерами. При этом они по-прежнему будут довольны своей работой, ведь наука, в конце концов, — это удовлетворение собственного любопытства. Сохранится и еще одна очень важная профессия для людей с техническим складом ума: присматривать за компьютерами. На самом деле для этого нужно быть не просто инженером, и в итоге к этому может свестись работа всего человечества: мы будем определять, чего хотим от машин, и контролировать, дают ли они то, что надо. Подробнее об этом мы поговорим ниже.
По мере смещения границы между автоматизируемыми и неавтоматизируемыми профессиями мы, скорее всего, будем наблюдать рост безработицы, уменьшение заработков все большего и большего числа специалистов и рост доходов в тех областях, которые автоматизировать пока нельзя. Это, конечно, уже происходит, но в дальнейшем будет выражено гораздо сильнее. Переходный период окажется бурным, но благодаря демократии все кончится хорошо. (Берегите свое право голоса — может быть, это самое ценное, что у вас есть.) Когда уровень безработицы перевалит за 50 процентов, а может, и раньше, отношение к распределению благ радикально изменится. Недавно ставшее безработным большинство будет голосовать за щедрые пожизненные пособия, и, чтобы их обеспечить, понадобятся огромные налоги. Однако это не будет слишком затратно, потому что все необходимое начнут производить машины. Вместо уровня безработицы мы станем говорить об уровне трудоустройства, снижение которого будет считаться признаком прогресса. («США отстает! Уровень трудоустройства все еще целых 23 процента!») Пособия по безработице сменятся базовым доходом для всех граждан. Если кому-то этого будет не хватать, всегда появится возможность заработать больше, неизмеримо больше, в немногих оставшихся человеческих профессиях. Либералы и консерваторы все так же станут ломать копья вокруг ставки налогообложения, но целевые показатели изменятся навсегда. После того как ценность труда сильно упадет, самыми богатыми станут страны с самым высоким соотношением природных богатств к численности населения (переезжайте в Канаду). Для неработающих жизнь совсем не будет бесцельной: не больше, чем бессмысленна жизнь на тропическом острове, где все потребности удовлетворяет щедрая природа. Разовьется экономика дарения, предвестник которой сегодня — программное обеспечение с открытым кодом. Как и сейчас, люди будут искать смысл жизни во взаимоотношениях, саморазвитии, духовности. Необходимость зарабатывать себе на жизнь станет далеким воспоминанием, еще одним осколком варварского прошлого, из которого мы выросли.
Война — не для людей
Солдатскую службу автоматизировать сложнее, чем науку, но прогресс не обойдет стороной и вооруженные силы. Одно из важнейших призваний роботов — делать то, что для человека слишком опасно, а ведение войн опасно по определению. Уже сегодня роботы обезвреживают взрывные устройства, а дроны позволяют подразделению «заглянуть за высотку». На подходе беспилотные автомобили снабжения и роботы-мулы. Вскоре нам придется определиться, разрешать ли роботам нажимать на спусковой крючок. Аргумент «за» — стремление обезопасить живых военнослужащих, а также непригодность дистанционного управления в быстро меняющейся обстановке и ситуациях типа «стреляй или погибнешь». Против такого решения говорит тот факт, что роботы не понимают этики, поэтому им нельзя доверить решения, связанные с жизнью и смертью. В то же время их можно научить этике, и здесь возникает более глубокий вопрос: готовы ли мы к этому.
Несложно заложить в робота общие принципы применения оружия, например военные соображения, пропорциональность и сохранение жизни мирного населения. Но между этими принципами и конкретной ситуацией — пропасть, которую должно преодолеть рассуждение солдата. Когда роботы будут пытаться применить на практике три закона робототехники, они быстро столкнутся с проблемами, что, собственно, иллюстрируют рассказы Айзека Азимова. Общие принципы обычно противоречивы, а иногда исключают друг друга, и это неизбежно, иначе мир станет черно-белым, без оттенков. Когда военная необходимость превыше жизни гражданских лиц? На это нет однозначного ответа, и не получится вложить в компьютер все непредвиденные обстоятельства. Выход дает машинное обучение. Во-первых, надо научить роботов распознавать соответствующие концепции, предоставив им, например, наборы ситуаций, где гражданских пощадили или не пощадили, применение оружия было и не было пропорциональным и так далее. Затем надо составить для роботов кодекс поведения в виде правил с этими концепциями. Наконец, их надо научить применять этот кодекс путем наблюдения за людьми: в этом случае солдат открыл огонь, а в этом воздержался. Обобщая эти примеры, робот сможет сформировать комплексную модель принятия этических решений в виде, скажем, большой логической сети Маркова. Когда его решения начнут совпадать с человеческими настолько, насколько решения разных людей совпадают между собой, обучение будет завершено и модель можно будет загрузить в тысячи электронных мозгов. В отличие от людей роботы не будут терять голову в горячке боя. Если робот станет функционировать неправильно, ответственность за это понесет производитель. Если начнет поступать неправильно — учителя.
Как вы, наверное, догадались, главная проблема такого подхода заключается в том, что учиться этике путем наблюдения за людьми, возможно, не лучшая идея. Робот может серьезно смутиться, увидев, что своими действиями люди часто нарушают собственные этические принципы. Поэтому можно, например, очистить обучающие данные, оставив только примеры поведения солдата, признанные этической комиссией правильными. Члены комиссии также станут проверять и корректировать модель после обучения, пока их не удовлетворит результат. Если в комиссию войдут разные люди, достичь консенсуса будет непросто, но так и должно быть. Обучение роботов этике, с учетом их логичности и отсутствия предыдущего опыта, заставит нас перепроверить собственные представления и исключить из них противоречия. Здесь, как и во многих других областях, большим плюсом машинного обучения может оказаться не то, что узнают машины, а то, что узнаем мы сами — их учителя.
Другой аргумент против армий роботов — то, что война станет слишком легким делом. При этом односторонний отказ от такого вооружения сам по себе может спровоцировать нападение. Логическая реакция, которую поддерживают ООН и Human Rights Watch, — соглашение о запрете роботизированного вооружения, аналогичное Женевскому протоколу 1925 года, запретившему химическое и биологическое оружие. Однако здесь есть важный нюанс. Химическое и биологическое оружие только увеличивает человеческие страдания, а роботизированное может заметно их облегчить. Если войну ведут машины, а люди ими командуют, не будет убитых и раненых, поэтому, наверное, надо запрещать не роботизированных солдат, а — когда мы будем к этому готовы — солдат-людей.
