Пришло время рассмотреть, какие функции в действительности выполняют современные роботы, чтобы лучше понять наши взаимоотношения с этими зачастую поразительно умелыми творениями рук человеческих. Я предлагаю вам подкрепленное исследованиями эмпирическое заключение: что бы роботы ни выполняли в лабораторных условиях, в реальности же, где на кону стоят человеческие жизни и реальные ресурсы, мы стремимся ограничить их автономность бо́льшим количеством требуемых согласований и возможностей для вмешательства со стороны людей. Я не оспариваю тот факт, что машины умны, и не говорю, что в один прекрасный день они могут оказаться недостаточно умными. Скорее, мое утверждение заключается в том, что такие машины не являются обособленными от человека.
Давайте перечислим три мифа XX века, связанные с робототехникой и автоматизацией. Первый миф – о линейном прогрессе – идея о том, что техника перейдет от непосредственного управления человеком к дистанционному контролю, а затем – к полностью автономным роботам. Слова философа Питера Сингера, который постоянно высказывается в защиту автономных систем, отражают суть этого мифа. Он пишет, что «возможность народа сохранять контроль над происходящим сводится на нет как теми, кто стоит у руля, так и непосредственно технологиями, в связи с чем люди вскоре будут исключены из контура управления».
Но нет никаких оснований предполагать, что эволюция пойдет именно по этому пути, что «непосредственно технологии», как пишет Сингер, приведут к чему-то подобному. На самом деле существуют подтверждения того, что люди постепенно входят в более глубокий контакт со своими машинами.
Мы постоянно обнаруживаем, что люди, дистанционно управляемые ими и автономные аппараты развиваются параллельно, воздействуя друг на друга. Например, беспилотные аппараты не смогли бы летать в национальном воздушном пространстве США без соответствующих изменений для пилотируемых аппаратов. Или другой пример: новые достижения робототехники в сфере обслуживания космических кораблей отразились на работе астронавтов с космическим телескопом «Хаббл». Самые развитые (и сложные) технологии – не те, которые работают отдельно от людей, а те, что наиболее глубоко внедрены в социальную систему и быстрее откликаются на происходящее в ней.
Второй миф – миф о замещении, идея о том, что машины начнут постепенно брать на себя все выполняемые людьми задачи. Этот миф является родившейся в XX веке версией того, что я называю феноменом железной лошади. Первоначально люди воображали, что железные дороги сведут на нет необходимость в лошадях, но поезда показали себя весьма неважными лошадьми. Железные дороги прочно заняли свое место, когда люди научились делать с их помощью совершенно новые вещи. Исследователи человеческого фактора и ученые-когнитивисты утверждают, что автоматы крайне редко просто «механизируют» человеческие задачи. Скорее, они имеют тенденцию делать задачу более сложной, зачастую повышая рабочую нагрузку (или перераспределяя ее). Дистанционно управляемые летательные аппараты не выполняют те же самые задания, что и аппараты, управляемые людьми; они берут на себя новые функции. Дистанционно управляемые роботы на Марсе не повторяют работу геологов-разведчиков в полевых условиях; они и работающие с ними люди учатся вести полевые исследования в новой обстановке с использованием дистанционных механизмов.
Наконец, у нас есть третий миф – миф о полной автономности, утопическая идея о том, что сегодня или в будущем роботы смогут действовать полностью самостоятельно. Да, автоматы, конечно, могут взять на себя часть задач, ранее выполняемых людьми, и они действительно способны в течение некоторого ограниченного периода времени действовать самостоятельно в ответ на изменения окружающих условий. Но машины, которые не зависят от указаний человека, – это бесполезные машины. Только камень может быть действительно автономным (но даже камень был создан и помещен на свое место благодаря окружающей его среде). Автоматизация изменяет степень вовлечения человека в работу машины, но не устраняет необходимость в нем полностью. В любой, даже автономной с виду системе мы всегда можем найти интерфейс, благодаря которому человек может контролировать ее работу, считывать информацию и благодаря которому она становится полезной. Если процитировать один из последних докладов научного совета Министерства обороны США, «не существует полностью автономных систем, так же как и не существует полностью автономных солдат, моряков, летчиков или морских пехотинцев».
Чтобы мыслить терминами XXI века и изменить свои взгляды на робототехнику, автоматизацию и в особенности на более новую идею об автономности, мы должны вникнуть в то, как намерения, планы и предположения человека меняют суть создаваемой им машины. Каждый оператор, контролируя свой аппарат, взаимодействует с конструкторами и программистами, чье присутствие в машине неизменно – пусть даже в виде элементов конструкции или строчек кода, созданных много лет назад. Бортовые компьютеры рейса 447 авиакомпании Air France могли продолжать управлять самолетом и в условиях ограниченных данных о скорости воздушного потока, но люди запрограммировали их таким образом, чтобы они этого делать не могли. Даже если программное обеспечение предпринимает действия, которые невозможно предсказать, оно ведет себя в рамках схем и ограничений, заложенных его создателями. То, как система разработана, кем и для каких целей, определяет ее возможности и способы взаимодействия с людьми, которые ее используют.
Моя цель – уйти от этих мифов и осмыслить концепцию автономности в контексте XXI века. Посредством историй, которые будут рассказаны ниже, я намереваюсь придать общественным обсуждениям иную форму и создать концептуальную карту новой эры.
Для создания такой карты, говоря об аппаратах и роботах в этой книге, я буду оперировать понятиями управляемый человеком, дистанционный и автономный. Первое – аналог не всегда уместного слова «пилотируемый», поэтому в некоторых случаях «управляемый» будет означать «управляемый человеком, находящимся в аппарате». Речь, конечно, идет о старых и хорошо знакомых типах аппаратов, таких как корабли, самолеты, поезда и автомобили, – машинах, посредством которых люди путешествуют. Обычно управляемые человеком системы вообще не считаются роботами, хотя все больше и больше напоминают роботов, внутри которых сидят люди.
Понятие «дистанционный» – сокращенный вариант термина «дистанционно управляемый аппарат» – просто указывает на то, где находится оператор по отношению к аппарату. Даже когда когнитивная задача по управлению дистанционной системой практически полностью совпадает с той, которую непосредственно осуществляет присутствующий физически оператор, наличию или отсутствию оператора и сопряженным с этим рискам придается большое культурное значение. Самый яркий пример – дистанционное ведение войны в тысячах километров от зоны боевых действий. Это опыт, полностью отличающийся от задач обычного солдата. Как когнитивный феномен присутствие человека переплетается с социальным аспектом.
Автоматизация также является идеей XX века и все еще отражает механистическое представление о том, что машины шаг за шагом выполняют заранее заданные процедуры. Термин «автоматизированный» обычно используется для описания компьютеров на воздушных судах, хотя в них заложены современные, довольно сложные алгоритмы. Автономность – более модное в наше время слово и один из главных приоритетов в исследованиях постоянно сокращаемого Министерства обороны США. Некоторые исследователи четко разграничивают автономность и автоматизацию, но, на мой взгляд, отличие автономности заключается только в более широкой степени самостоятельного принятия решений, нежели простая обратная связь; кроме того, понятие «автономность» охватывает и объединяет множество идей, заимствованных из теории искусственного интеллекта и других дисциплин. И, конечно, идея автономности отдельных существ и групп становится причиной постоянных споров в политике, философии, медицине и социологии. Это не должно вызывать удивления, ведь технические специалисты для описания своих машин зачастую заимствуют термины из социальных наук.
Даже в рамках конструкторского дела термин «автономность» может иметь несколько разных значений. Автономность в проектировании космических кораблей заключается в обработке на борту данных, которые необходимы для функционирования аппарата (независимо от того, является ли он совершающей полет по орбите автоматической станцией или мобильным роботом), отдельно от таких задач, как планирование миссии. В Массачусетском технологическом институте, где я преподаю, содержание инженерных курсов по автономности покрывает в основном «планирование пути» – как добраться из одной точки в другую, затратив на это адекватное количество времени и ни во что не врезавшись. В других системах автономность аналогична интеллекту, способности принимать решения, которые в тех или иных ситуациях принял бы человек, или способности действовать в условиях, которых не ожидали или не предвидели создатели аппарата. Автономные подводные аппараты называются так, потому что действуют сами по себе и противопоставляются дистанционно управляемым аппаратам, которые соединяются с судном длинными кабелями. Несмотря на это, инженеры, создающие такие автономные подводные судна, говорят, что их аппараты являются полуавтономными, поскольку лишь в редких случаях действуют без какого-либо контакта с оператором.
