Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

427

Economic Cycle Research Institute, «U.S. Economy Tipping into Recession», September 30, 2011. http://www.businesscycle.com/reports_indexes/reportsummarydetails/1091.

Achuthan and Benerji, Beating the Business Cycle, Kindle locations 192–194.

Chris Anderson, «The End of Theory: The Data Deluge Makes the Scientific Method Obsolete», Wired magazine, 16.07; June 23, 2008. http://www.wired.com/science/discoveries/magazine/16%E2%80%9307/pb_theory.

Я не публикую экономические прогнозы, но с уверенностью могу сказать, что в тот период времени я не разделял «бычьей» точки зрения.

В тот период большое количество концептуально одинаковых методов, основанных на «опережающих индикаторах», предсказали значительный рост или как минимум крайне невысокие шансы рецессии. См.: Dwaine van Vuuren, «U.S. Recession – an Opposing View», Advisor Perspectives, January 3, 2012.

С 30 сентября 2011 г. (цена закрытия S&P 500 на уровне 1131,42) до 30 марта 2012 г. (цена закрытия S&P на уровне 1379,49).

Henry Blodget, «ECRI’s Lakshman Achuthan: No, I’m Not Wrong – We’re Still Headed for Recession», Daily Ticker, Yahoo! Finance; May 9, 2012. http://finance.yahoo.com/blogs/daily-ticker/ecri-lakshman-achuthan-no-m-not-wrong-still-145239368.html.

Ноябрьские данные по прогнозу ВВП на следующий год по данным SPF с 1968 по 2009 г., корень среднеквадратичной ошибки (RMSE) для прогноза отдельного экономиста был равен 2,27 пункта, а значение RMSE для агрегированного прогноза – 1,92 пункта. Таким образом, усреднение прогнозов снижало ошибку примерно на 18 %.

Stephen K. McNees, “The Role of Judgment in Macroeconomic Forecasting Accuracy», International Journal of Forecasting, 6, no. 3, pp. 287–99, October 1990. http://www.sciencedirect.com/science/article/pii/016920709090056H.

Пожалуй, единственным из известных мне экономистов, которые полагаются исключительно на статистические модели без применения каких-либо корректировок, является Рей С. Фейр из Йельского университета. Я изучил степень точности прогнозов, основанных на модели Фейра и публикующихся с 1984 г. В некоторых случаях они довольно неплохи. Прогнозы Фейра по ВВП и уровню инфляции ничуть не хуже оценок любого другого прогнозиста. Однако его прогнозы по уровню безработицы постоянно оказывались достаточно плохими. Результаты стали еще хуже в последнее время, поскольку модель значительно недооценила масштаб недавней рецессии и переоценила перспективы восстановления экономики. Одна из проблем статистических моделей состоит в том, что они работают достаточно хорошо лишь до тех пор, пока одно из их предположений не нарушается и модель не сталкивается с новой ситуацией. В этом случае они могут давать весьма неточный прогноз. Можно сказать, что глобальный финансовый кризис представляет собой новую ситуацию для модели, «заточенной» под экономические данные после Второй мировой войны, поскольку кризиса такого масштаба в течение этого периода не происходило.

Например, если некоторые экономисты более точно предсказывали изменения ВВП в четные годы (2000, 2002, 2004), то можно было ожидать, что они создадут более точные прогнозы и в нечетные годы (2001, 2003, 2005). Но, когда я изучил данные SPF и разделил их по этому признаку, корреляция между двумя наборами данных оказалась достаточно низкой. Экономисты, делавшие более хорошие прогнозы в четные годы, лишь немногим опережали других в нечетные, и наоборот.

Andy Bauer, Robert A. Eisenbeis, Daniel F. Waggoner, and Tao Zha, «Forecast Evaluation with Cross-Sectional Data: The Blue Chip Surveys», Economic Review, Federal Reserve Bank of Atlanta, 2003. http://www.frbatlanta.org/filelegacydocs/bauer_q203.pdf.

David Laster, Paul Bennett, and In Sun Geoum, «Rational Bias in Macroeconomic Fore-casts», Quarterly Journal of Economics, 114, 1 (1999), pp. 293–318. http://www.newyorkfed.org/research/staff_reports/sr21.pdf.

David Laster, Paul Bennett, and In Sun Geoum, «Rational Bias in Macroeconomic Fore-casts», Quarterly Journal of Economics, 114, 1 (1999), pp. 293–318. http://www.newyorkfed.org/research/staff_reports/sr21.pdf.

David Reifschneider and Peter Tulip, “Gauging the Uncertainty of the Economic Outlook from Historical Forecasting Errors,” Federal Reserve Board Financial and Economics Discus-sion Series #2007–60 (November 2007). http://www.federalreserve.gov/pubs/feds/2007/200760/200760abs.html.

David Reifschneider and Peter Tulip, “Gauging the Uncertainty of the Economic Outlook from Historical Forecasting Errors,” Federal Reserve Board Financial and Economics Discus-sion Series #2007–60 (November 2007). http://www.federalreserve.gov/pubs/feds/2007/200760/200760abs.html.

На рис. 6.6 черные линии, обозначающие историческое среднее, откалиброваны относительно среднего прогноза по ВВП 2012 г., сделанного в ноябре 2011 г. по данным Survey of Professional Forecasters и составлявшего 2,5 %.

Jeremy Kahn, «The Man Who Would Have Us Bet on Terrorism – Not to Mention Discard Democracy and Cryogenically Freeze Our Heads – May Have a Point (About the Betting, We Mean)», Fortune magazine via CNN Money, September 15, 2003. http://money.cnn.com/magazines/fortune/fortune_archive/2003/09/15/349149/index.htm.

Robin Hanson, Futarchy: Vote Values, but Bet Beliefs (Washington, DC: George Mason University), August 2000. http://hanson.gmu.edu/futarchy.html.

Felix Salmon, «Why the Correlation Bubble Isn’t Going to Burst», Reuters, August 19, 2011. http://blogs.reuters.com/felix-salmon/2011/08/19/why-the-correlation-bubble-isnt-going-to-burst/.

Рассказ, приведенный в первых нескольких абзацах, основан на двух основных источниках: статье в New York Times Magazine от 5 сентября 1976 г., и более свежей статье, размещенной на сайте Slate.com, доступной по следующему адресу: article available here: Patrick Di Justo, «The Last Great Swine Flu Epidemic», Salon.com, April 28, 2009.

A/Victoria получил свое название в честь места происхождения – австралийского штата Виктория, где расположен Мельбурн; он был доминирующим штаммом сезонного гриппа в середине 1970‑х гг.

Jeffery K. Taubenberger and David M. Morens, «1918 Influenza: The Mother of All Pandemics», Emerging Infectious Diseases, 12, 1 (January 2006). http://www.webcitation.org/5kCUlGdKu.

John Barr, «The Site of Origin of the 1918 Influenza Pandemic and Its Public Health Implications», Journal of Translational Medicine, 2, 3 (January 2004).

Помимо множества других примеров, см.: Jane E. Brody, «Influenza Virus Continues to Keep Scientists Guessing», New York Times, July 23, 1976.

Di Justo, «The Last Great Swine Flu Epidemic».

Harold M. Schmeck Jr., «Flu Experts Soon to Rule on Need of New Vaccine», New York Times, March 21, 1976. http://select.nytimes.com/gst/abstract.html?res=F40711FC355E157493C3AB1788D85F428785F9.

Di Justo, «The Last Great Swine Flu Epidemic».

New York Times, April 23, 1976.

180 млн долл. – это примерная сумма расходов на саму программу вакцинации. Однако демократическая партия, почувствовавшая нетерпение и отчаяние Форда, смогла увеличить эту сумму еще примерно на 1 млрд долл. за счет бюджетных средств, предусмотренных на другие социальные расходы.

По мнению доктора Алекса Озоноффа из Гарвардского университета, тот факт, что случаев гриппа летом действительно бывает меньше, чем зимой, отчасти связан с тем, что люди не ожидают, что могут заразиться гриппом летом, и поэтому относят его симптомы к другим заболеваниям.

Boyce Rensberger, «U.S. Aide Doubts a Heavy Flu Toll», New York Times, July 2, 1976. http://select.nytimes.com/gst/abstract.html?res=F30614F83F5B167493C0A9178CD85F428785F9.

New York Times, June 9, 1976.

New York Times, July 20, 1976.

New York Times, June 8, 1976.

Некоторые из этих роликов действительно имеет смысл посмотреть, поскольку они напоминают сцены из фильмов Джона Уотерса. См., например, «1976 Swine Flu Propaganda», опубликовано пользователем tarot1984 на YouTube.com; April 27, 2009. http://www.youtube.com/watch?v=ASibLqwVbsk.

Di Justo, «The Last Great Swine Flu Epidemic».

Harold M. Schmeck, «Swine Flu Program I Halted in 9 States as 3 Die After Shots; Deaths Occur in Pittsburgh», New York Times, October 13, 1976. http://select.nytimes.com/gst/abstract.html?res=F00910F63F5A167493C1A8178BD95F428785F9.

В 1976 г. каждый день в США умирало около 3 тыс. человек в возрасте 65 лет и старше.

Например, в редакционной статье газеты New York Times от 14 октября утверждалось: «Вполне возможно, что смерти 14 пожилых людей, умерших вскоре после вакцинации, были вызваны другими причинами. Правительственные чиновники, отвечающие за программу вакцинации, утверждают, что это совпадение и что старые люди умирают каждый день. Американцы узнали о новой статистике – при нормальных обстоятельствах из каждых 100 тыс. людей в возрасте от 65 до 75 лет ежесуточно будет умирать от 9 до 10 человек. Но даже с учетом этой статистики кажется крайне странным, что три пожилых человека, получивших в течение одного и того же часа прививку в одной и той же клинике в Питтсбурге, умерли с интервалом в несколько часов. Это трагедия могла стать результатом случайности, но остается фактом крайне низкая вероятность того, что столь сжатые по времени смерти сроки оказались простым стечением обстоятельств». Хотя, на первый взгляд, эта логика кажется убедительной, на самом деле, она страдает от общего «статистического заблуждения». Ошибка состоит в том, что хотя шансы трех конкретных пожилых людей умереть в один и тот же день после вакцинирования в одной и той же клинике действительно малы, вероятность, что группа из трех пожилых людей умрет в одной клинике в один и тот же день, значительно выше. Если предположить, что в течение первых 11 дней программы было вакцинировано около 40 % пожилых американцев, то это значит, что в начале октября 1976 г. прививку получили 9 млн человек в возрасте старше 65 лет. Если предположить, что во всей стране имеется 500 клиник, то расчет показывает: в каждой клинике делалось 164 прививки в день. У человека в возрасте 65 лет и старше шанс умереть в какой-то конкретный день равен 1 из 7000. Вероятность того, что при таких условиях три представителя из группы в 164 человека умрут в один и тот же день, действительно крайне мала – она составляют 1 к 148 тыс. Однако для такого «в высшей степени маловероятного» события имелось 55 тыс. возможностей – 5000 клиник × 11 дней. Таким образом, шансы на то, что подобное совпадение могло произойти где-то в Америке, довольно велики и составляют 1 к 8.