Но иногда пилоты спасают машины при механических поломках, отказах автопилота, плохой погоде и неожиданных событиях. «Снова и снова, – писал в 2009 году немецкий журнал Spiegel в статье о безопасности на воздушном транспорте, – пилоты автоматически управляемых самолетов сталкиваются с жуткими сюрпризами, предусмотреть которые не могли никакие инженеры» [5].
То же самое можно сказать и о положении в других отраслях. В прессе широко освещалось происшествие с Google-мобилем, за рулем которого сидел человек; но мы практически ничего не слышали о тех случаях, когда водители, сидевшие в автоматических машинах Google, брали на себя управление, если компьютер с ним не справлялся. Правила Google требуют ручного управления на улицах жилых кварталов, а каждый, кто хочет покататься на компьютерном автомобиле, должен пройти курсы экстремального вождения [6]. Автоматические автомобили не такие уж и самостоятельные, как кажутся.
В медицине специалистам часто приходится пересматривать инструкции или назначения, сделанные компьютерами. Руководство госпиталей обнаружило, что назначения ими лекарств, устранив некоторые общие расстройства организма человека, создали новые проблемы. Проведенное в 2011 году в одном из госпиталей исследование показало, что число случаев повторного назначения одних и тех же лекарств возросло после внедрения автоматизированной системы [7]. Диагностические программы тоже далеки от совершенства. В большинстве случаев доктор Алгоритм поставит вам правильный диагноз и назначит адекватное лечение, но если набор ваших симптомов отличается от стандартного, то вы будете благодарить судьбу за то, что в кабинете оказался доктор Человек, который исправил неудачные назначения компьютера.
Потенциальных источников ошибок становится больше по мере усложнения технологии автоматизации, увеличения числа перекрестных связей, объемов баз данных и сетевых протоколов. Системы подвергаются «каскадам отказов», в ходе которых небольшая поломка в каком-то одном звене приводит к катастрофическим последствиям, вызывая разлад всей системы. В 2010 году группа физиков писала в журнале Nature: «Человек живет в мире взаимозависимых сетей. Различные элементы инфраструктуры, такие, как водоснабжение, транспорт, заправочные станции и электростанции, – все это соединено в единую систему электроникой и другими средствами, что делает их в высшей степени чувствительными к случайным сбоям и ошибкам» [8].
Становится все труднее выявлять вероятность наступления таких нарушений. «В промышленных машинах прошлого, – объясняет научный сотрудник MIT Нэнси Ливсон в своей книге “Engineering a Safe Word” (“Создание безопасного мира”), – взаимодействие между деталями можно было надежно спланировать, понять и защитить, а всю конструкцию машины – полностью протестировать, прежде чем запускать ее в действие». Современные высокотехнологичные системы уже не обладают этими свойствами. Они стали менее управляемыми в интеллектуальном смысле, чем их предшественники, собранные с помощью болтов и гаек [9]. Все части машины могут работать безупречно, но небольшая ошибка в конструкции способна привести к непоправимой катастрофе.
Опасность еще более увеличивается из-за невероятной скорости, с какой компьютеры принимают решения и начинают действовать. Это было наглядно продемонстрировано ужасным утром 1 августа 2012 года, когда крупнейшая торговая фирма Уолл-стрит Capital Group запустила новую автоматизированную программу для покупки и продажи акций. В этой суперсовременной программе был небольшой изъян, оставшийся незамеченным во время ее испытаний. Программа немедленно вздула валютные курсы своими абсолютно иррациональными распоряжениями, продавая ежесекундно акции на 2,6 миллиона долларов. Через 45 минут, которые потребовались математикам и программистам для того, чтобы разобраться в проблеме и остановить это безумие, программа успела растранжирить 7 миллиардов долларов, поставив компанию на грань банкротства. Через неделю консорциум других фирм Уолл-стрит компенсировал убытки Capital Group, чтобы избежать катастрофы на финансовом рынке.
Естественно, технология не стоит на месте, а неисправности всегда устраняются. Но безупречность работы автоматизированных систем, увы, навечно останется недостижимым идеалом. Даже если инженерам удастся создать совершенную систему, то ей придется подстроиться под наш мир. Беспилотные автомобили поедут не по улицам города Солнца. Роботы работают не в райских кущах. По небу по-прежнему будут летать гуси, а из туч – сверкать молнии. Убеждение в том, что когда-нибудь будет построена абсолютно самодостаточная, надежная автоматизированная система, – это не более чем утопия. К сожалению, такая вера характерна не только для высоколобых технократов, но и для инженеров и программистов, создателей этих систем. В своей знаковой статье, напечатанной в 1983 году в журнале Automatica, Лизанна Бэйнбридж, профессор инженерной психологии из Лондонского университетского колледжа (University College London), сформулировала причину наделения компьютерных систем все бо́льшими задачами, заключающуюся в том, что создатели программ часто считают людей «ненадежными и неэффективными» по сравнению с компьютерами. Люди, таким образом, превращаются в наблюдателей, пассивных созерцателей экранов [10]. Исследования вигильности[25] операторов британских радаров, следивших за немецкими подводными лодками во время Второй мировой войны, показали, что даже высокомотивированный человек не способен внимательно следить за экраном монитора больше чем полчаса, если эта информация не меняется [11]. Людям становится скучно, они отвлекаются на посторонние мысли, концентрация внимания падает. «Это означает, – писала Бэйнбридж, – что человек физически не способен наблюдать за экраном, на котором долгое время не происходит ничего существенного» [12].
Поскольку навыки утрачиваются, если их не применять на практике, добавляет Бэйнбридж, то даже опытные операторы через некоторое время начинают работать как новички, если основная работа заключается в наблюдении, а не в действии. Инстинкты и рефлексы затухают, когда их не используют. У операторов возникают трудности с выявлением и оценкой возникающих проблем, а реакция на них становится медленной и обдуманной, исчезает автоматизм действий. В сочетании потери интереса к картинке с угасанием навыков кроется причина повышения риска нештатной ситуации, которая рано или поздно непременно произойдет. Как только это случается, разработчики аппаратуры вносят в нее усовершенствования, призванные еще больше ограничить роль оператора и тем самым усугубить вероятность его неверных действий. Убеждение, что человек является самым слабым звеном системы, становится принципом.
Эргономика – наука о правильной организации человеческого труда – восходит по меньшей мере к эпохе древних греков. Гиппократ в трактате «О вещах, относящихся к хирургии» помещает точные инструкции по поводу освещения и оснащения операционной, пишет, как надо раскладывать инструменты, пользоваться ими, и даже о том, во что должен быть одет хирург. В дизайне многих древнегреческих инструментов видны результаты размышлений о форме и весе инструмента, влияющих на производительность, выносливость и здоровье работника. В древних цивилизациях Азии мы тоже находим признаки приспособления орудий труда к физическому и психологическому удобству работника [13].
Однако лишь к моменту начала Второй мировой войны эргономика вместе с ее теоретической кузиной кибернетикой формально стала учебной и научной дисциплиной. Тысячам неопытных солдат надо было доверить сложное и опасное оружие и технику в условиях нехватки времени на обучение и тренировку. Благодаря Норберту Винеру и американским психологам Полу Фиттсу и Альфонсу Шапани, работавшим с личным составом ВВС, военные и промышленные специалисты научились понимать, что люди играют такую же существенную роль в успешной работе сложных технологических систем, как механические детали и электронные регуляторы. Невозможно создать машину, а потом – в духе Тейлора – заставить человека к ней приспособиться. Наоборот, надо конструировать машину, приспособленную к человеку.
Воодушевленные вначале патриотизмом и желанием внедрить компьютеры в торговлю, государственное управление и науку, большие коллективы психологов, физиологов, нейробиологов, инженеров, социологов и конструкторов начали обращать свои таланты и дарования на изучение взаимодействия людей и машин. Их внимание сосредоточивалось как на полях сражений, так и на производственных предприятиях, но цель была вполне гуманной: объединить людей и технологии в плодотворный, устойчивый и безопасный симбиоз, в гармоничное партнерство, позволяющее использовать лучшие свойства и качества обеих сторон.
