Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

154

Eugene Lyons, Workers’ Paradise Lost (New York: Paperback Library, 1967).

С тех пор Тэтлок работает в Пенсильванском университете.

«Экспертом», по мнению Тэтлока, может считаться любой человек, зарабатывающий себе на жизнь за счет профессионализма в определенной области, например корреспондент газеты Washington Post в Москве мог быть таким же экспертом по СССР, как и отставной советолог в университете Беркли.

Phillip E. Tetlock, Expert Political Judgment (Princeton, NJ: Princeton University Press, 2006), pp. 107–108.

Неточность в расчетах ВВП Советского Союза, проведенных ЦРУ, отчасти возникла из-за того, что аналитики рассчитывали общий размер экономики, базируясь на цифрах впечатляющих военных расходов. Фактически, однако, Советский Союз тратил на развитие армии значительно бо́льшую долю внутреннего продукта, чем страны Европы и Северной Америки со свободной экономикой.

Abram Bergson, «How Big Was the Soviet GDP?» Comparative Economic Studies, March 22, 1997. http://web.archive.org/web/20110404205347/http://www.allbusiness.com/government/630097-1.html.

Отчасти данный раздел книги основан на материалах моих интервью, взятых у Брюса Буэно де Мескита, политолога из Нью-Йоркского университета.

Louis Menand, «Everybody’s an Expert», New Yorker, December 6, 2005. http://www.newyorker.com/archive/2005/12/05/051205crbo_books1.

Dick Morris, «Bush Will Rebound from Katrina Missteps», The Hill, September 7, 2005.

Justin Gardner, «Dick Morris’ Crazy Electoral Map», Donklephant.com, October 15, 2008. http://donklephant.com/2008/10/15/dick-morris-crazy-electoral-map/.

Dick Morris and Eileen McGann, «Goal: 100 House Seats», DickMorris.com, September 27, 2010. http://www.dickmorris.com/goal-100-house-seats/.

Dick Morris, «Krauthammer’s ‘Handicapping the 2012 Presidential Odds», DickMorris.com, April 25, 2011. http://www.dickmorris.com/comments-on-krauthammers-handicapping-the-2012-presidential-odds/.

Phillip E. Tetlock, Expert Political Judgment, p. 79.

James A. Barnes and Peter Bell, «Political Insiders Poll», National Journal, October 28, 2010. http://www.nationaljournal.com/magazine/political-insiders-poll-20101028?print=true.

Модель прогноза FiveThirtyEight, не основанная на инсайдерских знаниях, правильно указала результаты 9 из 11 кампаний, то есть обогнала инсайдеров как демократической партии (среднее значение у которых составляло 6,9), так и республиканской (8,4).

Следует отметить, что эти предсказания не обладали внутренней последовательностью: например, если демократические инсайдеры ожидали выиграть почти все кампании в спорных районах, они должны были предсказать и то, что их партия получит достаточное количество мест для удержания Конгресса за собой.

Хотя не вызывает сомнения тот факт, что вопросы расы и пола были ключевыми факторами в гонке 2008 г., СМИ часто обращаются именно к ним как к основным объяснениям результатов, хотя у нас имеются и более качественные гипотезы. Например, в некоторые моменты предварительной выборной кампании 2008 г. было отмечено, что Обама не пользуется особой популярностью у испаноговорящих латиноамериканских избирателей, что почти всегда объясняется тем, что они не доверяли черным кандидатам. Однако позднее я обнаружил, что отставание Обамы среди испаноговорящих было связано скорее не с их расой, а с их уровнем дохода. Клинтон удавалось лучше убеждать представителей рабочего класса, а поскольку к нему принадлежало множество испаноговорящих избирателей, ее общие результаты у этой группы были выше. И если сделать поправку на уровень дохода, то результаты Клинтон у белой и латиноамериканской аудитории практически не различались. Кроме прочего, Обаме не составило труда выиграть голоса испаноговорящих избирателей после того, как он вступил в противоборство с кандидатом от республиканцев Джоном Маккейном, – он получил около двух третей их голосов.

«Election Results: House Big Board», New York Times, November 2, 2010. http://elections.nytimes.com/2010/results/house/big-board.

Nate Silver, «A Warning on the Accuracy of Primary Polls», FiveThirtyEight, New York Times, March 1, 2012. http://i vethirtyeight.blogs.nytimes.com/2012/03/01/a-warning-on-the-accuracy-of-primary-polls/.

Nate Silver, «Bill Buckner Strikes Again», FiveThirtyEight, New York Times; September 29, 2011. http://fivethirtyeight.blogs.nytimes.com/2011/09/29/bill-buckner-strikes-again/.

В противном случае вам следовало бы дать конгрессмену 100 %-ный шанс на выигрыш.

Matthew Dickinson, «Nate Silver Is Not a Political Scientist», in Presidential Power: A Non-partisan Analysis of Presidential Power, Blogs Dot Middlebury, November 1, 2010. http://blogs.middlebury.edu/presidentialpower/2010/11/01/nate-silver-is-not-a-political-scientist/.

Sam Wang, «A Weakness in FiveThirtyEight.com», Princeton Election Consortium, August 8, 2008. http://election.princeton.edu/2008/08/04/on-a-law-in-fivethirtyeightcom/.

Douglas A. Hibbs Jr., «Bread and Peace Voting in U. S. Presidential Elections», Public Choice 104 (January 10, 2000): pp. 149–180. http://www.douglas-hibbs.com/HibbsArticles/Public%20Choice%202000.pdf.

Модель Хиббса предсказывала, что Ал Гор выиграет двухпартийное голосование (то есть голосование, в котором исключены кандидаты третьих партий) с результатом 54,8 %. На самом деле Гор выиграл с результатом 50,3 %. То есть величина ошибки составила 4,5 %. Утверждалось, что его модель имеет стандартную ошибку в пределах 2 пунктов при прогнозировании количества голосов за любого кандидата (или около 4 пунктов при прогнозировании разрыва между ними). Таким образом, прогноз переоценил положение Гора на величину 2,25 стандартного отклонения, что при нормальном распределении возникает лишь 1 раз в 80 случаях.

James E. Campbell, «The Referendum That Didn’t Happen: The Forecasts of the 2000 Presidential Election», PS: Political Science & Politics (March 2001). http://cas.buffalo.edu/classes/psc/fczagare/PSC%20504/Campbell.pdf.

Andrew Gelman and Gary King, «Why Are American Presidential Election Campaign Polls So Predictable?» British Journal of Political Science 23, no. 4 (October 1993). http://www.rochester.edu/College/faculty/mperess/ada2007/Gelman_King.pdf.

Nate Silver, «Models Based on ‘Fundamentals’ Have Failed at Predicting Presidential Elections», FiveThirtyEight, New York Times, March 26, 2012.

В период между 1998 и 2008 гг. ошибка обычного опроса по результатам выборов в Сенат США, проведенного в последние три недели кампании, достигала 5 пунктов, а по результатам выборов в Конгресс США – 5,8 пункта.

В качестве достаточно мягкого критического замечания можно сказать, что Cook Political относит к категории неопределенных слишком много кампаний, даже когда имеется достаточное количество свидетельств об умеренном превосходстве того или иного кандидата. Методология FiveThirtyEight, определяющая номинального фаворита во всех гонках вне зависимости от величины превосходства, позволила точно выявить победителя в 38 из 50 кампаний (76 %), которые Cook Political в 2010 г. охарактеризовала как неопределенные.

В период между 1998 и 2010 гг. имелось 17 примеров, в которых Cook классифицировала кампанию одним образом (например, отдавая предпочтение демократу), хотя среднее по итогам опросов приходило к обратному заключению (иногда демонстрируя незначительное превосходство республиканца). Прогнозы Cook оказались правильными в 13 из 17 таких случаев.

Позднее Капанке потерял свое место в Сенате штата Висконсин после выборов 2011 г.

Scott Schneider, «Democrats Unfairly Accuse Dan Kapanke of Ethics Violations», La Crosse Conservative Examiner, August 27, 2010. http://www.examiner.com/conservative-in-la-crosse/democrats-unfairly-accuse-dan-kapanke-of-ethics-violations.

Через несколько недель Cook Political изменила свой рейтинг с «вероятной победы демократа» на «незначительный перевес демократа». Однако это было связано скорее с общими проблемами демократической партии на национальной политической арене, а не с имевшим место в ходе кампании интервью с Капанке.

Paul E. Meehl, «When Shall We Use Our Heads Instead of the Formula», Journal of Counseling Psychology 4, no. 4 (1957), pp. 268–273. http://mcps.umn.edu/assets/pdf/2.10_Meehl.pdf.

Douglas Harper, Online Etymology Dictionary. http://www.etymonline.com/index.php?term=objective.

Nate Silver in Jonah Keri, et al., Baseball Between the Numbers: Why Everything You Know About the Game Is Wrong (New York: Basic Books, 2006).

Danny Knobler, «The Opposite of a ‘Tools Guy,’ Pedroia’s Simply a Winner», CBSSports.com, November 18, 2008. http://www.cbssports.com/mlb/story/11116048.

Nate Silver, «Lies, Damned Lies: PECOTA Takes on Prospects, Wrap-up», BaseballProspectus.com, March 8, 2006. http://www.baseballprospectus.com/article.php?articleid=4841.

В прошлом Лоу был одним из авторов в Baseball Prospectus.

Keith Law, «May Rookies Struggling to Show They Belong», ESPN.com, May 12, 2007. http://insider.espn.go.com/mlb/insider/columns/story?columnist=law_keith&id=2859877.

Детальная статистика результатов Педройи взята с сайта Baseball-Reference.com. «Хоумран» – особенно удачный удар по мячу, после которого игроки успевают пробежать по всем базам и попасть в «дом», принося своей команде много призовых очков.

Tommy Craggs, «Dustin Pedroia Comes out Swinging», Boston Magazine, April 2009. http://www.bostonmagazine.com/articles/dustin_pedroia/page5.