Неверное каузальное определение эффекта регрессии свойственно не только читателям популярной прессы. Статистик Говард Вейнер составил длинный список выдающихся исследователей, допустивших такую же ошибку, то есть спутавших корреляцию с каузальностью. Эффект регрессии – частый источник проблем в исследованиях, и у опытных ученых развивается здоровая боязнь ловушек, то ест ь необоснованных каузальных выводов.
Один из моих любимых примеров ошибки в интуитивных предсказаниях взят из замечательной книги Макса Базермана «Оценочные суждения при принятии управленческих решений» и адаптирован:
Вы прогнозируете продажи в сети магазинов. Все магазины сети сходны по размеру и ассортименту, но объем продаж у них разный из-за расположения, конкуренции и различных случайных факторов. Вам представили результаты за 2011 год и попросили определить продажи в 2012-м. У вас есть указания придерживаться общего прогноза экономистов о том, что рост продаж в целом составит 10%. Как бы вы заполнили следующую таблицу?
Прочитав эту главу, вы знаете, что очевидное решение прибавить по 10% к продажам каждого из магазинов неправильно. Прогноз должен быть регрессивным, то есть для магазинов с плохими результатами следует добавить больше 10%, а к остальным – меньше, а то и вычесть что-то. Однако у большинства людей это задание вызывает недоумение: зачем спрашивать об очевидном? Как обнаружил еще Гальтон, понятие регрессии неочевидно.
Разговоры о регрессии к среднему
«По ее словам, она по опыту знает, что критика эффективнее похвалы. Но она не понимает, что все это – просто результат регрессии к среднему».
«Возможно, второе собеседование впечатлило нас меньше потому, что кандидат боялся нас разочаровать. Однако, скорее всего, первое собеседование прошло необычайно хорошо».
«Процедура отбора хороша, но неидеальна, так что вероятна регрессия. Не стоит удивляться, что даже самые лучшие кандидаты часто не соответствуют нашим ожиданиям».
18. Как справляться с интуитивными предсказаниями
Жизнь дает нам много возможностей предсказывать. Экономисты прогнозируют инфляцию и безработицу, финансовые аналитики прогнозируют доходы, военные эксперты прогнозируют количество жертв, венчурные капиталисты оценивают прибыльность новых компаний, издатели и продюсеры предсказывают целевые аудитории, подрядчики оценивают время на выполнение проекта, шеф-повара предугадывают спрос на блюда в меню, инженеры вычисляют количество бетона, необходимое для строительства здания, начальники пожарных команд определяют число машин, требуемое для тушения пожара. В личной жизни мы предсказываем реакцию супруга на предлагаемый переезд или свою способность освоиться на новом рабочем месте.
Некоторые предсказательные оценки, например те, что дают инженеры, в основном полагаются на данные таблиц, точные вычисления и подробный анализ результатов, наблюдавшихся в подобных случаях. Для других предсказаний в действие вступают интуиция и Система 1, в двух основных формах. Бывают предчувствия, основанные в первую очередь на навыках и экспертизе, полученных повторением некоторого опыта. Быстрые автоматические оценки и выборы, совершаемые гроссмейстерами, пожарными и врачами, которые описал Гэри Кляйн в «Источниках силы» и других работах, иллюстрируют профессиональную интуицию: решение текущей проблемы быстро приходит в голову, поскольку обусловлено знакомыми подсказками.
Другие предчувствия, иногда субъективно неотличимые от первых, возникают в ходе эвристических процедур, которые часто заменяют заданный трудный вопрос более легким. Интуитивные суждения выносятся уверенно, даже если они основаны на нерегрессивных оценках слабых доказательств. Конечно, многие оценки, особенно в профессиональных областях, рождаются из сочетания анализа и интуиции.
Нерегрессивные предчувствия
Давайте вспомним старую знакомую:
Джули оканчивает университет штата. Она бегло читала в четыре года. Какой у нее средний балл?
Люди, знакомые с американской системой образования, быстро выдают число, зачастую близкое к 3,7 или 3,8. Как это происходит? Через несколько операций Системы 1.
• Ищется каузальная связь между исходными данными (умением Джули читать) и целью прогноза (средним баллом). Связь может быть непрямой. В данном случае и раннее умение читать, и высокий средний балл отражают хорошие способности, а значит, должна существовать какая-то связь. Вы (то есть ваша Система 2), скорее всего, посчитаете неважной информацию о том, что Джули выиграла соревнования рыболовов-любителей или успешно занималась тяжелой атлетикой в старших классах. Процесс, по сути, дихотомический: можно отбросить то, что заведомо неверно или неважно, но Система 1 не умеет принимать во внимание более мелкие недостатки данных. В результате интуитивные предсказания почти совершенно не учитывают реальные предсказывающие свойства информации. Если найдена связь, как в случае с ранним чтением Джули, срабатывает принцип «что ты видишь, то и есть»: ассоциативная память быстро и автоматически составляет наилучшую возможную при имеющейся информации историю.
• Затем данные оцениваются по отношению к соответствующей норме. Насколько необычно для четырехлетнего ребенка беглое чтение? Какая относительная позиция соответствует такому достижению? Ребенка сравнивают с некоторой группой (мы называем ее референтной), которая также не вполне определена, но в обычной речи так и бывает – если выпускника колледжа описывают как «довольно умного», вам редко приходится спрашивать: «Какую референтную группу вы имеете в виду, говоря „довольно умный“?»
• Далее происходит подстановка и соразмерение интенсивности. Вместо ответа на вопрос о среднем балле в колледже подставляется оценка ненадежных свидетельств детских когнитивных способностей. В процентном выражении Джули получит один и тот же результат и за средний балл, и за достижения по чтению в раннем возрасте.
• В вопросе оговаривалось, что ответ следует представить по шкале среднего балла, то есть требуется еще одно действие по сопоставлению интенсивности общего впечатления от учебных достижений Джули со средним баллом в колледже, подходящим к доказательствам ее таланта. Последний шаг – перевод впечатления об относительном положении Джули по успеваемости в соответствующий средний балл.
Сопоставление интенсивности рождает настолько же крайние предсказания, как и данные, на которых они основаны, и ведет к тому, что люди дают одни и те же ответы на два совершенно разных вопроса:
Каков процентильный балл Джули по раннему чтению?
Каков процентильный балл Джули по среднему баллу?
Сейчас вы легко определите все эти действия как функцию Системы 1. Я перечислил их здесь по порядку, но, разумеется, распространение активации в ассоциативной памяти происходит по-другому. Представьте, что процесс изначально запускается информацией и вопросом, сам себя подпитывает и в конечном итоге останавливается на самом когерентном из возможных решений.
Однажды мы с Амосом предложили участникам нашего исследования оценить описания восьми первокурсников колледжа, якобы составленные консультантом-психологом на основании собеседований, проведенных при зачислении. В каждом описании было пять прилагательных, как в этом примере:
умный, уверенный в себе, начитанный, прилежный, любознательный
Некоторых участников просили ответить на два вопроса:
Что вы думаете об их способностях к учебе, исходя из этого описания?
Какой процент описаний первокурсников, по вашему мнению, произвел бы на вас большее впечатление?
Вопросы требуют оценить данные, сравнивая эти описания с вашими нормами описаний студентов, составляемых психологами. Само существование таких норм удивительно. Вы наверняка не знаете, как вы их приобрели, но довольно отчетливо чувствуете уровень энтузиазма в этом описании: психолог считает, что студент хорош, но не потрясающе хорош. Можно употребить более сильные прилагательные, чем «умный» (например, выдающийся, творческий), «начитанный» (ученый, эрудированный, удивительно знающий) и «прилежный» (увлеченный, склонный к перфекционизму). Вердикт следующий: очень вероятно, что описываемый студент входит в 15% лучших, но вряд ли входит в 3% самых-самых. В таких оценках наблюдается удивительное единодушие – по крайней мере, внутри одной культуры.
Другим участникам нашего эксперимента задавали другие вопросы:
По вашему мнению, какой средний балл получит этот студент?
Каков процент первокурсников, которые получат более высокий средний балл?
Между этими парами вопросов существует трудноуловимая разница. Она должна бы быть очевидной, но это не так. В первой паре требуется оценить данные, а во второй много неопределенности. Вопрос касается реальных результатов в конце первого курса. Что случилось за год, прошедший со времени собеседования? Насколько точно можно предсказать реальные достижения студента на первом курсе колледжа по пяти прилагательным? Способен ли психолог совершенно точно предсказать средний балл по результатам собеседования?
