Еще один эталон сравнения – другие прогнозисты. Кто может обставить всех остальных? Кто может побить совокупный прогноз? Как они умудряются это делать? Чтобы ответить на эти вопросы, требуется сравнить результаты Брайера – что, в свою очередь, требует равных условий. Прогноз погоды в Фениксе гораздо легче предсказания погоды в Спрингфилде, штат Миссури, где она постоянно меняется, так что несправедливо было бы сравнивать результаты Брайера метеорологов в Фениксе и в Спрингфилде. Результат Брайера 0,2 в Спрингфилде может быть знаком того, что перед нами – метеоролог мирового класса. Вывод простой, но несет в себе важную подоплеку: выкапывание старых прогнозов из газет редко предоставляет возможность сравнить, так сказать, яблоко с яблоком, потому что вне пределов турниров прогнозисты редко предсказывают одинаковые события в один и тот же временной период.
Сложите вместе все эти соображения – и мы готовы приступать. Как Арчи Кокрану и другим пионерам медицины, основанной на свидетельствах, нам нужно проводить аккуратно организованные эксперименты. Собрать прогнозистов. Задать им, избегая двусмысленностей, большое количество вопросов с конкретными временными рамками. Потребовать от прогнозистов, чтобы они использовали выраженные в числах степени вероятности. И подождать какое-то время. Если исследователи сделали свою работу, результаты будут четкими. Информацию можно проанализировать и получить ответы на ключевые вопросы («Насколько хороши прогнозисты?», «Кто из них лучший?», «Что их отличает?»).
Экспертное политическое суждениеЭтим я и начал заниматься в середине 1980-х, но сразу натолкнулся на сложности. Несмотря на то, что я практически умолял лучших специалистов принять участие в исследовании, никто из них не согласился. И тем не менее я умудрился завербовать 284 серьезных профессионала, дипломированных эксперта, зарабатывающих на жизнь анализом политических и экономических тенденций и событий. Некоторые из них были из академической среды – университетов или НИИ. Другие работали в разных департаментах правительства США, в международных организациях вроде Всемирного банка или Международного валютного фонда или в СМИ. Кое-кто из них даже был довольно знаменит, другие хорошо известны в профессиональных сообществах, некоторые только начинали карьеру и пока ничем не прославились. И все равно следовало гарантировать им анонимность, потому что даже те эксперты, которым далеко было до уровня элиты вроде Тома Фридмана, не хотели рисковать своими репутациями ради нулевой профессиональной отдачи. Анонимность также гарантировала, что участники не будут испытывать давления или бояться попасть впросак, а значит, сделают лучшие предположения. Эффекты публичности могли подождать до следующего исследования.
Первые вопросы, заданные экспертам, касались их самих. Возраст? (Средний – сорок три года.) Рабочий опыт в соответствующей области? (Средний – 12,2 года.) Образование? (Почти все прошли постдипломную подготовку, у половины – кандидатские степени.) Также их спросили об идеологических воззрениях и предпочтительных подходах к решению политических проблем.
Вопросы для прогнозов задавали временны́е рамки от одного до десяти лет вперед и затрагивали различные темы, поднимающиеся в текущих новостях: политических и экономических, местных и международных. На такие темы обычно рассуждают эксперты в СМИ и коридорах власти. Это означало, что нашим экспертам иногда попадались вопросы по их специализации, но чаще – нет, что позволило сравнивать точность прогнозов настоящих профессионалов и умных и хорошо информированных любителей. В общем и целом наши эксперты сделали примерно 28 тысяч предсказаний.
На задавание вопросов ушли годы. Затем потянулось ожидание – испытание терпения даже для людей со стажем. Я начал эксперимент, когда Михаил Горбачев и советское Политбюро были ключевыми игроками, вершащими судьбы мира. К тому моменту, когда началось оформление результатов, СССР существовал только на исторических картах, а Горбачев снимался в рекламе для «Пиццы Хат». Окончательные результаты появились в 2005-м – спустя 21 год, шесть президентских выборов и три войны после того, как я поучаствовал в комиссии Национального совета по исследованиям, заставившей меня задуматься о прогнозировании. Я опубликовал результаты в академическом трактате «Экспертное политическое суждение (Expert Political Judgment): насколько оно хорошо? Откуда мы можем это узнать?». В целях упрощения я буду называть всю эту исследовательскую программу аббревиатурой EPJ.
И результаты…Если перед тем, как открыть эту книгу, вы не знали комических результатов EPJ, то сейчас они вам уже известны: среднестатистический эксперт оказался точен примерно как шимпанзе, играющий в дартс. Но, как предупреждают студентов на вводных уроках статистики, средние показатели могут вводить в заблуждение. Отсюда старая шутка про статистиков, которые спят, сунув ноги в духовку, а голову в морозилку из-за комфортности средней температуры.
По результатам EPJ эксперты разделились на две статистически отличающиеся группы. Первая не смогла подняться выше произвольного угадывания, а в долгосрочных прогнозах умудрилась проиграть даже шимпанзе. Вторая группа обошла шимпанзе, хоть и не с разгромным счетом, так что особых поводов для гордости у них тоже не было. На самом деле они всего лишь слегка превзошли простые алгоритмы вроде «всегда предсказывай отсутствие изменений» или «предсказывай текущий уровень изменений». И все же, каким бы скромным ни был их дар предвидения, он имелся.
Так почему же одна группа выступила лучше другой? Дело было не в ученых степенях и не в доступе к секретной информации. Дело было и не в том, что они думали: были ли они либералами или консерваторами, оптимистами или пессимистами. Основным фактором было то, как они думали.
Одна группа имела свойство опираться на Большие Идеи, хотя они и не сходились во мнениях по поводу того, какие из Больших Идей правдивы, а какие ложны. Одни хоронили человечество вместе с окружающей средой («У нас заканчиваются все ресурсы!»), другие праздновали наступление эры изобилия («Мы всему можем найти малозатратные заменители!»). Некоторые были социалистами (предпочитавшими государственный контроль над стратегически важными направлениями экономики), другие – фундаменталистами свободного рынка (сторонниками минимальной регуляции). Какими бы ни были их идеологические отличия, объединяла всех экспертов крайняя идеологизированность мышления. Они пытались уместить комплексные проблемы в облюбованные ими причинно-следственные шаблоны, а все, что не помещалось, отбрасывали как помехи, не имеющие отношения к делу. Категорически не приемля неопределенность, они толкали свои аналитические выкладки к границе (а иногда и выталкивали за нее), используя термины вроде «кроме этого» и «более того» и складывая одну на другую причины, по которым они должны быть непременно правы, а остальные – ошибаться. В результате эксперты были необычайно уверены в себе и имели большую склонность объявлять вещи «невозможными» или «непременными». Даже после того как их предсказания со всей ясностью не сбывались, они, сроднившись со своими выводами, с большой неохотой меняли мнение, говоря при этом: «Вы еще подождите!»
Другая группа состояла из более прагматичных экспертов, которые пользовались множеством аналитических инструментов, выбор которых зависел от конкретной проблемы, с которой они сталкивались. Эти эксперты собирали как можно больше информации из как можно большего количества источников. При обдумывании проблемы они часто переключали мыслительные механизмы, пересыпая свою речь такими переходными знаками, как «однако», «но», «хотя» и «с другой стороны». Они говорили не об уверенности, а о возможностях и вероятностях. И хотя никто не любит объявлять: «Я был не прав», эти эксперты с большей готовностью признавали свои ошибки и меняли мнения.
Несколько десятилетий назад философ Исайя Берлин написал прославленное, но мало кем читаемое эссе, в котором сравнил стили мышления великих авторов разных эпох. Чтобы оформить свои наблюдения, он воспользовался отрывком из древнегреческого стихотворения, которое около 2500 лет назад предположительно написал поэт-воин Архилох: «Лиса знает много разного, а еж – одно, но важное». Никто никогда не узнает, на чьей стороне был Архилох – лис или ежей, но Берлину больше нравились лисы. Я не чувствую потребности принять чью-то сторону, мне просто понравилась метафора, потому что она ухватывает суть собранной мной информации. Поэтому я назвал экспертов Больших Идей ежами, а более «эклектичных» – лисами.
Лисы превзошли ежей. И превзошли не только благодаря трусливому поведению – играя осторожно и делая прогнозы с 60 или 70 % вероятности, в то время как ежи смело ставили на 90 или 100 %. Лисы превзошли ежей и в калибровке, и в разрешении. У лис был дар предвидения. У ежей – нет.
