The Robot As Enemy? (1979)
Перевод: В. Гольдич
В 1942 году я изобрел Три закона роботехники. Самым важным из них является, естественно, Первый закон. Он гласит: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». В своих рассказах я всегда старался подчеркнуть, что законы, особенно Первый, являются неотъемлемой частью робота, и он не может их нарушить.
Кроме того, я старался, хотя, возможно, и не так настойчиво, дать понять своим читателям, что эти законы не являются врожденными. Материал, из которых сделан робот, не содержит в себе этих законов. Они совершенно сознательно вносятся в мозг готового робота, иными словами, в компьютеры, которые контролируют его деятельность. Может так получиться, что какой-то определенный робот окажется не наделен знанием Трех законов, поскольку его примитивная конструкция не позволяет внести в него поведенческие схемы, достаточно сложные, чтобы он был вынужден им подчиняться, или поскольку человек, который создает робота, решит сознательно не вносить в его мозг знание Трех законов.
Пока – и, возможно, так будет еще достаточно долго – мы имеем дело с первой причиной. Роботы слишком примитивны, чтобы предвидеть, что какой-то их поступок может причинить вред человеку, и изменить свое поведение, чтобы этого не произошло. В настоящий момент у нас имеются лишь компьютеризированные устройства, которые способны выполнять набор определенных действий и не могут отойти в сторону от данных им инструкций. В результате роботы уже стали причиной смерти людей (как, впрочем, и обычные машины). Это ужасно, но вполне объяснимо, и мы можем предполагать, что по мере создания роботов с более сложной системой восприятия и способностью гибкого реагирования на изменение ситуации увеличится вероятность того, что в них будут внесены защитные блоки, эквивалентные Трем законам.
А как насчет второй альтернативы? Станут ли люди сознательно создавать роботов, не наделяя их знанием Законов роботехники? Боюсь, что такая возможность тоже существует. Уже идут разговоры о роботах-охранниках. Роботы могут патрулировать какие-нибудь территории или даже охранять вестибюли. В их задачу будет входить общение с людьми, которые появляются на данной территории или в здании. Вероятно, тот, кто имеет право войти или приглашен, получит карточку, идентифицирующую его личность, и тогда робот его пропустит. В наше время, когда столько внимания уделяется вопросам безопасности, такие идеи могут показаться вполне разумными, поскольку они явятся надежным способом борьбы с вандализмом и терроризмом, – получается, что робот будет выполнять роль дрессированной сторожевой собаки.
Однако стремление к безопасности порождает усложнение системы. Робот сумеет остановить непрошенного гостя, но сигнала тревоги может оказаться недостаточно. Людям захочется наделить его способностью изгнать посетителя, даже если при этом робот причинит ему вред – собака ведь тоже может увусить вас за ноги или перегрызть глотку. Я что произойдет, если, например, глава фирмы забудет свою карточку в других брюках и, расстроившись, не успеет покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую территорию? Я подозреваю, что если робот причинит вред человеку, который не имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат задание внести соответствующие изменения, чтобы ошибка не повторилась.
Расмотрим другую крайность – разговоры об оружии. Компьютеризированные самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим упорством будут без устали сражаться с врагом. В качестве довода в защиту подобного оружия можно сказать, что таким образом мы сохраним жизнь солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим машинам воевать за нас. Если какие-то из них будут уничтожены – ну, это же всего лишь машины. Такой подход к ведению военных действий может оказаться особенного полезным, если у вас такие машины есть, а у врага – нет.
Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все наше оружие контролируют руки и мозги людей, существует проблема «дружественного огня». Американское оружие может случайно убить американских солдат или гражданских людей, что нередко происходило в прошлом. Речь идет об ошибках, которые допускали люди, однако от этого не легче. А что, если наше роботизированное оружие откроет «дружественный огонь» и начнет уничтожать американцев или даже американскую собственность? Принять такое будет еще труднее (в особенности если враг разработает специальные стратегические мероприятия, направленные на то, чтобы сбить программы наших роботов и повернуть их огонь против нас). Нет, я уверен, что попытки применения роботов без специальных защитных систем провалятся и в конце концов мы все равно вернемся к Трем законам.
