Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Короткая дорожная карта

В этой книге вы найдете много примеров из различных областей знаний (естественных и общественных наук), а также из спорта и азартных игр. В ней приведены как сравнительно прямолинейные примеры, в которых проще всего провести различие между успешным и неудачным предсказанием, так и другие, требующие чуть больше мастерства.

В главах 1–3 рассмотрены случаи неудачного предсказания в таких вопросах, как недавний финансовый кризис, успехи в бейсболе и в области политики, показано, где одни подходы сработали хорошо, а другие – нет. Их цель состоит в том, чтобы заставить вас задуматься о некоторых самых фундаментальных вопросах, лежащих в основе проблемы предсказания. Каким образом можем мы применить свои суждения в отношении данных, не поддаваясь при этом предубеждениям? В каких условиях рыночная конкуренция позволяет сделать лучшие прогнозы и за счет чего она способна их ухудшить? Каким образом мы можем сочетать необходимость использования знания прошлого как руководства к действию с признанием того, что будущее может быть совершенно иным?

В главах 4–7 основное внимание уделено динамическим системам: поведению земной атмосферы, влияющему на формирование той или иной погоды; движению тектонических плит планеты, способному вызвать землетрясения; комплексным взаимодействиям между людьми, влияющим на поведение американской экономики, а также распространению инфекционных заболеваний. Эти системы изучаются некоторыми из наших лучших ученых. Однако прогнозировать процессы, протекающие в динамических системах, достаточно сложно, и предсказания в этих областях далеко не всегда оказываются верными.

Главы 8–10 обращаются к решениям: сначала мы познакомим вас с человеком, делающим ставки на исходы спортивных мероприятий и применяющим теорему Байеса более умело, чем многие экономисты или ученые, а затем поговорим о двух видах спорта – о шахматах и покере.

Спорт и игры, подчиняющиеся четко определенным правилам, представляют собой отличную лабораторию для тестирования наших прогностических навыков. Они помогают нам лучше понимать смысл случайности и неопределенности, а также учат тому, как превращать информацию в знание.

Однако теорема Байеса может применяться и к значительно более важным проблемам. В главах 11–13 рассмотрены три примера: глобальное потепление, терроризм и пузыри на финансовых рынках. Эти проблемы достаточно важны и сложны для прогнозистов и общества в целом. Однако если мы решим принять брошенный нам вызов, то сможем сделать нашу страну, нашу экономику и нашу планету немного безопаснее.

Мир прошел долгий путь со времени изобретения печатного пресса. Информация перестала быть дефицитным продуктом; теперь ее у нас невероятно много, и мы не всегда знаем, что с ней делать. Однако по-настоящему полезной можно считать сравнительно небольшую ее часть. Мы воспринимаем ее избирательно, субъективно и не придаем значения возникающим в результате искажениям. Мы думаем, что нам нужна информация, хотя на самом деле нам нужно знание.

Сигнал – это правда. А шум – это то, что отвлекает нас от правды. Эта книга расскажет вам и о сигналах, и о шумах.

Наступило 23 октября 2008 г. Фондовый рынок находился в состоянии свободного падения, обвалившись за предшествующие пять недель почти на 30 %. Некогда уважаемая компания Lehman Brothers оказалась банкротом. Кредитные рынки практически перестали работать. Дома в Лас-Вегасе потеряли 40 % от своей стоимости{46}. Безработица подскочила до невероятно высокого уровня. Сотни миллиардов долларов, находившихся в распоряжении обанкротившихся финансовых фирм, моментально исчезли. Уровень доверия к правительству оказался самым низким за весь период его оценок{47}. А через две недели должны были состояться президентские выборы.

Конгресс, работа которого в обычных условиях затихала перед выборами, развил лихорадочную деятельность. Рассматриваемые в нем законопроекты о помощи финансовым организациям обещали стать непопулярными{48}, и Конгрессу нужно было создать впечатление, что все те, кто вел себя «неправильно», будут наказаны. Комитет США по надзору приказал главам трех основных агентств, занимавшихся составлением кредитных рейтингов, – Standard&Poor’s (S&P), Moody’s и Fitch Ratings – дать показания на парламентских слушаниях. Рейтинговые агентства были обвинены в неверной оценке вероятности того, что триллионы долларов в ценных бумагах, обеспеченных закладными, попадут под дефолт. Мягко говоря, возникло впечатление, что они оказались скомпрометированными.

Кризис конца 2000‑х гг. часто воспринимают как провал, поражение наших политических и финансовых учреждений. Очевидно, что это действительно было огромным поражением с экономической точки зрения. Даже в 2011 г., через четыре года после официального начала Великой рецессии, американская экономика работала на уровне в 800 млрд долл. ниже своего производственного потенциала{49}.

Однако я убежден, что правильнее оценивать финансовый кризис как провал в оценке состояния экономики или катастрофическую ошибку предсказания. Проблемы с прогнозами носили широкомасштабный характер, возникали практически на каждом шагу до, во время и после кризиса и вовлекали в себя массу участников – от ипотечных брокеров до Белого дома.

И самое страшное заключается в том, что «провалившиеся» предсказания обычно имеют много общих черт. Мы ориентируемся на сигналы, рассказывающие не о реально существующем мире, а о том, что мы хотим видеть. Мы игнорируем риски, которые сложнее всего измерить, даже когда они представляют собой величайшие угрозы нашему благосостоянию. Мы создаем приблизительное представление о мире, значительно более грубое, чем наше восприятие. Мы ненавидим неопределенность, даже когда она является неотъемлемой частью проблемы, которую мы пытаемся решить. Если мы хотим добраться до истинной причины финансового кризиса, нам следует начать с выявления самого «провального» предсказания, которое и привело ко всем последующим ошибкам.

Рейтинговые агентства давали рейтинг AAA (обычно зарезервированный для горстки наиболее платежеспособных стран и отлично управляемых компаний нашего мира) тысячам ценных бумаг, обеспеченных закладными, – финансовым инструментам, позволявшим инвесторам делать ставку на вероятность того, что кто-то не сможет расплатиться по закладной на свой дом.

Рейтинги, выпускавшиеся этими компаниями, были, по сути дела, предсказаниями, то есть расчетами вероятности того, что часть долга подвергнется дефолту{50}. Например, компания Standard&Poor’s озвучивала инвесторам, что рейтинг AAA у особенно сложного типа ценных бумаг, называемых облигациями, обеспеченных долговыми обязательствами (CDO)[5], означает, что невозможность выплаты по ним в течение следующих пяти лет составляет всего 0,12 %, или 1 шанс из 850{51}. По сути, это делало подобный инструмент столь же безопасным, как и корпоративные облигации[6] с рейтингом AAA{52}, и более безопасным, чем казначейские обязательства США (по мнению S&P){53}. Рейтинговые агентства будто забыли о существовании колоколообразных кривых распределения вероятности.

В реальности, судя по внутренним данным S&P, дефолту подверглось 28 % CDO с рейтингом AAA{54} (по некоторым независимым оценкам, этот показатель был еще выше{55}). Это значит, что реальные показатели дефолта для CDO оказались более чем в 200 раз выше, чем предсказывала S&P (рис. 1.1){56}.

Рис. 1.1. Предсказанные и реальные пятилетние уровни дефолта для траншей CDO c рейтингом AAA

Пожалуй, это пример чуть ли не самого серьезного провала, который только можно сделать в области предсказаний, – триллионы долларов в инвестициях, считавшихся почти полностью безопасными, обернулись чем-то диаметрально противоположным. Представьте себе, что прогноз погоды обещает вам +25 °С и солнце, а на вас внезапно обрушивается метель. Если вы сделаете неудачное предсказание, у вас есть несколько вариантов его последующего объяснения. Первый – обвинить внешние обстоятельства – то, что мы часто называем «невезением». Иногда это разумно и даже правильно. Когда Национальная служба погоды говорит о том, что вероятность безоблачной погоды составляет 90 %, а на улице начинается дождь, испортивший вам проведение турнира по гольфу, ее не стоит в этом винить. Исторические данные за многие десятилетия свидетельствуют, что когда Служба погоды говорит, что вероятность дождя составляет 1 к 10, то в долгосрочной перспективе дождь действительно идет всего в 10 % случаев[7].