Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Преимущества (и ограничения) групповых прогнозов

Могу сказать, что не был полностью согласен с методологией, предлагавшейся в этом исследовании. Прогнозы Intrade смогли переиграть FiveThirtyEight только после того, как Вольферс и Ротшильд произвели в своей методике ряд корректировок постфактум; в противном случае выигрывал FiveThirtyEight{705}. Возможно, еще более важным является тот факт, что новый прогноз FiveThrityEight достаточно часто приводил к движению цены Intrade в том же направлении. Это могло означать, что игроки пытались использовать мои прогнозы для спекуляций (по крайней мере, до какой-то степени).

Тем не менее существуют достаточно сильные эмпирические и теоретические свидетельства, что в агрегированном изучении различных прогнозов есть свои преимущества. В целом ряде дисциплин, начиная от макроэкономического прогнозирования и заканчивая политическими опросами, простое среднее значение из нескольких прогнозов зачастую позволяет снизить ошибку прогнозирования на 15 или 20 %{706}.

Однако, перед тем как вы начнете объединять и выводить среднее из данных, вам следует учитывать три следующих обстоятельства.

Во-первых, хотя агрегированный прогноз будет, в сущности, всегда лучше, чем обычный индивидуальный прогноз, это не значит, что он обязательно будет хорошим. Например, даже агрегированные макроэкономические прогнозы слишком грубы, чтобы предсказать рецессию более чем за несколько месяцев. При этом они все же лучше прогнозов отдельных экономистов.

Во-вторых, целый ряд свидетельств показывает, что данный принцип мудрости толпы работает, когда прогнозы сначала делаются независимо и лишь затем усредняются. В рынке с реальными ставками (включая фондовый рынок) люди могут и действительно реагируют на поведение друг друга. В условиях, когда толпа начинает вести себя более динамично, групповое поведение становится более сложным.

В-третьих, хотя агрегированный прогноз и лучше типичного индивидуального, он не всегда оказывается лучше, чем лучший из индивидуальных прогнозов. Возможно, например, что где-то в мире существует фирма, анализирующая политические события настолько хорошо и точно, что нам лучше использовать именно ее данные и не смешивать их с данными менее точных коллег.

Однако при изучении результатов в долгосрочной перспективе почти всегда оказывалось так, что агрегированный прогноз оказывается лучше любого индивидуального. Можно привести такой пример. Исследование экономических индикаторов высококлассных компаний показало, что агрегированный прогноз их изменений в течение ряда лет оказывался лучше, чем прогнозы, созданные любым из 70 экономистов, входивших в состав группы экспертов{707}. Другие работы Вольферса, в которых изучались предсказания результатов футбольных игр в рамках НФЛ, показали, что основанные на консенсусе прогнозы букмекеров были на 99,5 % точнее, чем прогнозы отдельных участников{708}. И это, безусловно, распространяется и на политические опросы. Модели, в которыхк результатам одного-единственного опроса относятся, как к Святому Граалю, гораздо чаще допускают примечательные ошибки{709}. Снижение величины ошибки на 15–20 % при совмещении прогнозов может казаться не особенно впечатляющим результатом, однако ему сложно что-то противопоставить на конкурентном рынке.

Поэтому я сказал Вольферсу и Ротшильду, что готов признать принцип, лежащий в основе их заключения, хотя и не согласен с некоторыми деталями. Людям, делающим ставки на Intrade, ничто не мешает использовать прогнозы FiveThirtyEight для создания своих предсказаний, равно как и пользоваться любой другой информацией, которую они считают уместной (например, прогнозами наших конкурентов). И, разумеется, они могут неправильно интерпретировать имеющуюся у них информацию, поэтому испытывать проблемы.

Но нельзя считать прогнозы FiveThirtyEight, как и любой другой компании, совершенно безупречными. Казалось, что Вольферс разочарован тем обстоятельством, что я был готов уступить свои позиции. Если я не уверен в том, что могу победить Intrade, то почему просто не присоединиться к ним и не пользоваться их предсказаниями как своими собственными?

«Честно говоря, я удивлен вашей реакцией, – сказал он мне. – Если есть что-то, способное переигрывать всех конкурентов, то почему вы продолжаете заниматься своей работой?» На это я ответил, что, прежде всего, нахожу создание прогнозов интересным делом с интеллектуальной точки зрения – и они увеличивают трафик на мой блог.

Кроме этого, хотя я и признаю теоретические преимущества рынков предсказаний, я не уверен, что качество работы рынков такого рода, как Intrade, достаточно высоко, стандарт конкуренции на нем низок. Intrade становится все более популярным, однако он все равно остается крошечным в сравнении с фондовым рынком или Лас-Вегасом. Например, в течение нескольких недель перед «супервторником» (днем первичных выборов) в марте 2012 г. на этой площадке объем торгов составлял около 1,6 млн долл.{710}; для сравнения ежесекундный объем торгов на Нью-Йоркской фондовой бирже составляет 8 млн долл. Самая крупная прибыль, полученная каким-либо из трейдеров от ставок в «супервторник», составила около 9 тыс. долл., чего явно недостаточно для того, чтобы жить на эти деньги, не говоря уже о том, чтобы разбогатеть. Кроме того, Intrade работает в довольно «серой» правовой зоне, и большинство людей, делающих ставки на американских политиков, представляют европейские или другие страны. Иногда возникают случаи рыночной манипуляции[145]{711} или вопиюще иррационального ценообразования{712}. Кроме этого, подобные рынки не особенно успешны в агрегации информации в случае отсутствия достаточного объема весомой информации – например, в попытках предсказать исход решений Верховного суда на основании туманных намеков, которыми судьи делятся с публикой.

Могли бы FiveThirtyEight и другие хорошие политические прогнозисты обыграть Intrade, если бы эта структура полностью следовала законодательству США, а объемы торговли на ней были на порядок или два выше? Думается, что это было бы сложно. Могут ли они сделать это сейчас? Могу предположить{713}, что некоторым из нас это под силу при правильном выборе ставок{714}.

Но и в этой ситуации неудачу может потерпеть множество толковых людей, ошибочно считающих, что они способны переиграть рынок.

В 1959 г. 21-летний студент колледжа по имени Юджин Фама, уставший изучать романские языки и творчество Вольтера, начал работать на одного преподавателя, занимавшегося прогнозами для фондового рынка{715}. Эта работа отлично ему подходила; Фама любил конкурентную борьбу, он первым из членов семьи учился в колледже, а в период обучения в католической школе Молден в Бостоне был одним из лучших спортсменов, несмотря на свой небольшой рост. Он просеивал данные результатов работы фондового рынка в прошлом, выискивая любую информацию, которая могла бы обеспечить инвестору преимущество перед другими. Зачастую ему удавалось выявлять статистические закономерности, свидетельствовавшие о высокой степени предсказуемости фондового рынка. Используя их, любой инвестор мог сколотить себе немалое состояние. На все предложения Фамы преподаватель почти всегда отвечал скептически, советуя ему не инвестировать, а подождать и посмотреть, как будет вести себя та или иная стратегия в реальном мире. Почти всегда стратегии Фамы терпели поражение.

В равной степени расстроенный и очарованный этим опытом, Фама отказался от планов стать преподавателем. Вместо этого он направился в школу бизнеса Чикагского университета, где в 1965 г. умудрился опубликовать свою докторскую диссертацию. Чем-то она напоминала уникальную работу Билла Джеймса, изучавшего бейсбольную статистику в 1980‑х. Основываясь на статистике, Фама с немалым сарказмом утверждал, что значительная часть широко распространенных убеждений о том, как ведут себя акции, представляет собой полную ерунду. Изучая результаты работы десятков взаимных фондов[146] за 10-летний период с 1950 по 1960 г., Фама обнаружил, что фонды, показывавшие отличные результаты в один год, не могли повторить этот успех в следующем году{716}. Хотя Фама и понимал, что он не способен переиграть рынок, но он при этом осознавал, что этого не может сделать никто другой.

Отличным аналитиком может считаться только тот, чья полученная выгода… стабильно превышает средний показатель для рынка. Слово «стабильно» в данном случае особенно важно, поскольку в течение любого короткого периода времени… некоторым удается получать значительно лучшие результаты, чем рынку, а результаты других будут значительно хуже.