Должно быть, вы удивитесь: как же мы с Гэри Кляйном сразу не додумались оценивать экспертную интуицию в зависимости от постоянства среды и опыта обучения эксперта, не оглядываясь на его веру в свои слова? Почему сразу не нашли ответ? Это было бы дельное замечание, ведь решение с самого начала мая чило перед нами. Мы заранее знали, что значимые интуитивные предчувствия командиров пожарных бригад и медицинских сестер отличны от значимых предчувствий биржевых аналитиков и специалистов, чью работу изучал Мил.
Теперь уже трудно воссоздать то, чему мы посвятили годы труда и долгие часы дискуссий, бесконечные обмены черновиками и сотни электронных писем. Несколько раз каждый из нас был готов все бросить. Однако, как всегда случается с успешными проектами, стоило нам понять основной вывод, и он стал казаться очевидным изначально.
Как следует из названия нашей статьи, мы с Кляйном спорили реже, чем ожидали, и почти по всем важным пунктам приняли совместные решения. Тем не менее мы также выяснили, что наши ранние разногласия носили не только интеллектуальный характер. У нас были разные чувства, вкусы и взгляды применительно к одним и тем же вещам, и с годами они на удивление мало изменились. Это наглядно проявляется в том, что каждому из нас ка жется занятным и интересным. Кляйн до сих пор морщится при слове «искажение» и радуется, узнав, что некий алгоритм или формальная методика выдают бредовый результат. Я же склонен видеть в редких ошибках алгоритмов шанс их усовершенствовать. Опять-таки я радуюсь, когда так называемый эксперт изрекает прогнозы в контексте с нулевой достоверностью и получает заслуженную взбучку. Впрочем, для нас в конечном итоге стало важнее интеллектуальное согласие, а не эмоции, нас разделяющие.
Разговоры об интуиции экспертов
«Насколько она компетентна в этом вопросе? Насколько опытна в решении подобных частных задач?»
«Неужели он и впрямь считает, что недавно созданные компании – достаточно стабильный контекст для построения прогнозов вопреки априорной вероятности?»
«Она очень уверена в своем мнении, но субъективная уверенность – плохой показатель точности суждений».
«У него точно была возможность научиться этому? Достаточно ли быстрой и четкой была обратная связь, которую он получал от своих решений?»
Через несколько лет после начала нашего с Амосом сотрудничества я убедил чиновников из министерства образования Израиля, что высшей школе нужен курс по изучению принятия решений. Для разработки курса и написания учебника к нему я собрал команду опытных педагогов, куда включил моих студентов-психологов, а также Сеймура Фокса, декана факультета педагогики в Еврейском университете, профессионала по части составления спецкурсов.
За год мы, собираясь по пятницам, набросали подробный план лекций и несколько глав учебника, а также провели пробные занятия. Всем нам казалось, что прогресс налицо. Однажды, обсуждая с коллегами процедуры оценки неопределенных величин, я решил задать им упражнение – попросил всех приблизительно подсчитать, сколько времени нам понадобится для сдачи проекта учебника в министерство. Я следовал методике, которую мы собирались включить в программу курса. Методика заключалась в том, чтобы получить информацию отдельно от каждого члена группы, не затевая коллективных обсуждений, – так доступные группе знания используются более полно. Итак, я собрал результаты и вывесил данные на доску. В среднем срок сдачи книги оценили в два года (при крайних значениях в полтора и два с половиной).
Затем мне пришла в голову другая идея. Я обратился к Сеймуру, нашему специалисту по спецкурсам, и спросил, не помнит ли он других похожих случаев, когда бы команда преподавателей составляла учебный курс с нуля. В то время вводились некоторые педагогические инновации вроде «новой математики», и Сеймур сказал, что ему известно несколько примеров. Я спросил, слышал ли он, что случилось с другими командами – продвинулись ли они вперед, как мы, и сколько времени потребовалось им для завершения проектов?
Тут Сеймур задумался, а потом смущенно ответил (мне показалось, он даже залился румянцем от собственных слов): «Знаешь, я только сейчас вспомнил, что на самом деле не все команды после этой стадии довели дело до конца».
Это внушало тревогу. У нас и в мыслях не было, что мы можем потерпеть неудачу. Не на шутку обеспокоившись, я спросил, какая доля команд, по его подсчетам, оставила работу недоделанной. «Процентов сорок», – ответил Сеймур. Тут собравшиеся окончательно приуныли. Мой следующий вопрос был очевиден: «А те, что закончили свои проекты, сколько времени потратили на доработку?» – «Помнится, как минимум семь лет. Но точно не больше десяти», – сказал Сеймур.
Я ухватился за соломинку: «А если сравнить нашу группу по уровню подготовки и ресурсам, насколько мы лучше или хуже других? Как бы ты нас оценил?» Здесь Сеймур ответил без запинки: «Наш уровень – ниже среднего. Но ненамного». Такая оценка удивил а всех, даже самого Сеймура, который прежде разделял оптимизм команды. Пока я не подтолкнул коллегу, он не связывал в уме прошлое других групп и наше будущее.
Неверно утверждать, что Сеймур не открыл ничего нового для нас. Естественно, мы все понимали, что минимум семь лет труда и 40%-ная вероятность неудачи – более достоверный прогноз судьбы проекта, чем те цифры, которые мы нацарапали пятью минутами раньше, но никто не сумел это признать. Новый прогноз по-прежнему казался невообразимым – мы не могли представить, что такая, казалось бы, решаемая задача отнимет столько времени. Ни один хрустальный шар не показал бы все мелкие неожиданности, поджидавшие нас в будущем. Мы видели только относительно разумный план создания книги за два года, который противоречил статистике, утверждавшей, что другие команды потратили на эту работу нелепый объем времени или вовсе от нее отказались. Мы услышали информацию об априорной вероятности и, исходя из нее, должны были составить каузальный сценарий: если множество команд потерпели неудачу или затратили годы на достижение успеха, значит, разрабатывать учебный курс куда сложнее, чем мы думали. Однако такой вывод конфликтовал с нашим первоначальным ощущением хорошего старта. Мы обошлись с Сеймуровой статистикой как всякий, кто оказывался в подобной ситуации: априорную вероятность приняли к сведению и забыли о ней.
Нам бы все бросить в тот же день – никому не хотелось вкладывать шесть лет труда в проект, который с 40%-ной вероятностью мог провалиться, – но повод не показался достаточно веским, и после пяти минут беспорядочного обсуждения мы продолжили нашу работу, словно ничего не произошло. В итоге на завершение учебника ушло еще восемь (!) лет. К тому времени я уже покинул Израиль и вышел из состава команды, которая закончила-таки проект после многих сложностей и злоключений. К тому времени энтузиазм министерства образования иссяк, и курсом так никто и не воспользовался.
Этот неприятный эпизод стал едва не самым поучительным в моей профессиональной карьере. Со временем я извлек из него три урока. Первый открылся мне сразу: я нащупал различие между двумя радикальными подходами к прогнозированию, которые мы с Амосом впоследствии обозначили как «взгляд изнутри» и «сторонний взгляд». Второй урок заключался в том, что наши первоначальные представления – два года работы для завершения проекта – содержали ошибку планирования. Наши оценки учитывали идеальную, а не реальную ситуацию. И лишь спустя долгое время я усвоил третий урок – урок «иррационального упорства». Именно этим я объясняю наше нежелание бросить заведомо убыточный проект. Столкнувшись с выбором, мы поступились разумностью, но не инициативой.
Взгляд изнутри и его преимущества
В ту далекую пятницу эксперт по спецкурсам вынес два суждения касательно одной проблемы, причем противоположные по смыслу. Наш общий (в том числе и Сеймура) внутренний взгляд мгновенно принялся оценивать будущее проекта. Мы сосредоточились на особых обстоятельствах, в которых оказались, и начали искать аналогии в прошлом. У нас был набросок плана – мы знали, сколько глав предстоит написать, примерно помнили, сколько времени ушло на две первые главы. Самые предусмотрительные из нас, возможно, добавили еще месяц-другой в качестве допуска на погрешность.
Нашей грубейшей ошибкой была экстраполяция времени написания двух первых глав. Мы сделали прогноз, основываясь на имеющейся информации (правило WYSIATI), не подумав, что первые главы, возможно, были самыми легкими, да и команда поначалу испытывала максимум энтузиазма. Главное же, чему мы не уделили внимания, – это «неизвестные н ам неизвестности», как называл их Дональд Рамсфельд. В тот день мы никак не могли предвидеть, что какая-то случайность позволит проекту затянуться на столь долгий срок. Все то, что в итоге замедлило работу команды – разводы, болезни, проблемы взаимодействия с бюрократами, – не было принято в расчет. Подобные происшествия не только тормозят процесс – они создают периоды застоя, когда дело движется плохо или не движется вообще. Разумеется, другие группы (о которых говорил Сеймур) угодили в эту же западню. Их члены тоже не представляли, какие обстоятельства способны задержать или вовсе сорвать выполнение хорошего, на первый взгляд, плана. Наш план мог провалиться из-за множества случайностей, и, хотя большинство из них слишком редки для принятия в расчет, шансы срыва масштабного проекта обычно выше.
