Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

549

Данные основаны на логистическом регрессионном анализе, который я провел в отношении всех игр в регулярном сезоне НБА 2009–2010 гг., где в качестве независимой переменной выступала разница очков между командами хозяев и гостей за 14 минут до конца игры, а в качестве зависимой – факт выигрыша команды хозяев. Результат регрессионной модели составляет 0,056 при разнице очков –16; иными словами, вероятность победы команды хозяев при отставании на 16 очков составляет 5,6 %, иными словами, 1 шанс против 17. Я округлил это значение до 1 против 15, поскольку команда, отстающая на 16 очков в домашнем матче, обычно уступает своему оппоненту, а Lakers и Blazers находились примерно на одном уровне.

Шансы Вулгариса выиграть свою ставку в самом начале вечера составляли около 50 %; вероятность, что Lakers обыграют Blazers в игре 7, составляла 60 %, умноженная на рассчитанный мной 83 %-ный шанс, что Lakers обыграют Pacers, если продвинутся к финалу. К этому моменту в ходе матча шансы Lakers на выигрыш в чемпионате снизились примерно до 5 %.

Miranda Hitti, «Testosterone Ups Home Field Advantage», WebMD Health News, June 21, 2006. http://www.webmd.com/fitness-exercise/news/20060621/testosterone-ups-home-field-advantage.

Большинство других спортивных лиг используют обратный порядок отбора – первой игроков выбирает команда с самым низким результатом. В НБА, где отдельная талантливая суперзвезда способна изменить ситуацию для всей команды, лига проводит лотерею, что позволяет избегать ситуаций, при которых команды начнут сознательно проигрывать матчи ближе к концу года, чтобы улучшить место для выбора спортсменов по окончании сезона. Тем не менее чем хуже играет команда, тем сильнее становится «пинг-понг» перед проведением лотереи, и поэтому многие команды часто играют в нечто иное, чем в игру, на которую они способны.

Эта асимметрия не существовала бы в столь явно выраженной форме, если бы баскетбольные команды больше фокусировались на индивидуальной статистике защиты. Однако параметры нападения измерить гораздо легче, чем параметры защиты; некоторые команды даже не пытаются этим заниматься. Вследствие этого игрок, забивающий мяч в корзину, будет обладать большей рыночной стоимостью, чем игрок, пропускающий мяч.

«2001–02 Cleveland Cavaliers Schedule and Results», Basketball-Reference.com. http://www.basketball-reference.com/teams/CLE/2002_games.html.

В среднем команда будет показывать, выигрывает или проигрывает по пять матчей подряд примерно пять раз за сезон. Это означает 150 последовательностей для 30 команд НБА, вместе взятых.

D. R. Bellhouse, «The Reverend Thomas Bayes FRS: A Biography to Celebrate the Tercentenary of His Birth», Statistical Science, 19, 1, pp. 3–43; 2004. http://www2.isye.gatech.edu/~brani/isyebayes/bank/bayesbiog.pdf.

Возможно, Байес также был арианцем, последователем учения раннехристианского проповедника Ария, который считал Иисуса Христа небесным сыном Бога, а не одним из выражений Бога (как считает в наши дни большинство христиан).

Thomas Bayes, «Divine Benevolence: Or an Attempt to Prove That the Principal End of the Divine Providence and Government Is the Happiness of His Creatures». http://archive.org/details/DivineBenevolenceOrAnAttemptToProveThatThe.

Thomas Bayes, «Divine Benevolence: Or an Attempt to Prove That the Principal End of the Divine Providence and Government Is the Happiness of His Creatures». http://archive.org/details/DivineBenevolenceOrAnAttemptToProveThatThe.

Thomas Bayes, «Divine Benevolence: Or an Attempt to Prove That the Principal End of the Divine Providence and Government Is the Happiness of His Creatures». http://archive.org/details/DivineBenevolenceOrAnAttemptToProveThatThe.

The Late Rev. Mr. Bayes, Communicated by Mr. Price, in a Letter to John Canton, M. A. and F. R. S., «An Essay Towards Solving a Problem in the Doctrine of Chances», Philosophical Transactions of the Royal Society of London, 53, pp. 370–418; 1763. http://www.stat.ucla.edu/history/essay.pdf.

Donald A. Gillies, «Was Bayes a Bayesian?», Historia Mathematica, 14, no. 4, pp. 325–346, November 1987. http://www.sciencedirect.com/science/article/pii/0315086087900656.

David Hume, «Cause and Effect” in An Enquiry Concerning Human Understanding (1772) (Hackett Publishing Company, 1993). http://www.marxists.org/reference/subject/philosophy/works/en/hume.htm.

Некоторые христиане считают, что байесовская вероятность более совместима с их мировоззрением. Согласно теореме Байеса, если вы присвоите 100 %-ную априорную вероятность гипотезе о существовании христианского бога, то никакие доказательства в мире не заставят вас отступить от своих позиций. Вполне возможно, что Байес это понимал. В своем вступлении к эссе Байеса Ричард Прайс упоминал, что, по его мнению, теорема Байеса помогает подтвердить «существование Божества». Дополнительную информацию по этой теме можно найти: Steve Bishop, «Christian Mathematicians – Bayes, God & Math: Thinking Christianly About Mathematics», Education, March 22, 2012 г. http://godandmath.com/2012/03/22/christian-mathematicians-bayes/.

«Fundamental Atheism», Free Atheist Church. https://sites.google.com/site/freeatheistchurch/fundamental-atheism.

Sharon Bertsch McGrayne, The Theory That Would Not Die: How Bayes’ Rule Cracked the Enigma Code, Hunted Down Russian Submarines, and Emerged Triumphant from Two Centuries of Controversy (New Haven, CT: Yale University Press, Kindle edition), 427–436.

E. O. Lovett, «The Great Inequality of Jupiter and Saturn», Astronomical Journal, 15, 351 (1895), pp. 113–127.

McGrayne, The Theory That Would Not Die, Kindle location 19.

Pierre-Simon Laplace, «A Philosophical Essay on Probabilities» (1902), pp. 6–8.

Bret Schulte, «How Common Are Cheating Spouses?» U. S. News & World Report, March 27, 2008. http://www.usnews.com/news/national/articles/2008/03/27/how-common-are-cheating-spouses.

«Breast Cancer Risk by Age», Breast Cancer Centers for Disease Control and Prevention, last updated August 13, 2010. http://www.cdc.gov/cancer/breast/statistics/age.htm.

«Understanding Breast Exam Results – False Negative – False Positive Results», RealAge.com. http://www.realage.com/womens-health/breast-exam-results.

S. Eva Singletary, Geoffrey L. Robb, and Gabriel N. Hortobagyi, «Advanced Therapy of Breast Disease», B. C. Decker, May 30, 2004.

Gina Kolata, «Panel Urges Mammograms at 50, Not 40», New York Times, November 16, 2009. http://www.nytimes.com/2009/11/17/health/17cancer.html.

Dan M. Kahan, et al., «The Polarizing Impact of Science Literacy and Numeracy on Perceived Climate Change Risks», Nature Climate Change, May 27, 2012. See Supplementary Information: http://www.nature.com/nclimate/journal/vaop/ncurrent/extref/nclimate1547-s1.pdf.

Если отсчитать 25 тыс. дней до 11 сентября 2001 г., мы окажемся примерно в 1942 г.

John P. A. Ioannidis, «Why Most Published Research Findings Are False», PLOS Medicine, 2, e124, August 2005. http://www.plosmedicine.org/article/info:%20doi/10.1371/journal.pmed%20.0020124.

Brian Owens, «Reliability of ‘New Drug Target’ Claims Called into Question», NewsBlog, Nature, September 5, 2011. http://blogs.nature.com/news/2011/09/reliability_of_new_drug_target.html.

McGrayne, The Theory That Would Not Die, Kindle location 46.

Paul D. Stolley, «When Genius Errs: R. A. Fisher and the Lung Cancer Controversy», American Journal of Epidemiology, 133, 5, 1991. http://www.epidemiology.ch/history/PDF%20bg/Stolley%20PD%201991%20when%20genius%20errs%20-%20RA%20fisher%20and%20the%20lung%20cancer.pdf.

Alan Agresti and David B. Hitchcock, «Bayesian Inference for Categorical Data Analysis», Statistical Methods & Applications, 14 (2005), pp. 297–330. http://www.stat.ufl.edu/~aa/articles/agresti_hitchcock_2005.pdf.

John Aldrich, «R. A. Fisher on Bayes and Bayes’ Theorem», Bayesian Analysis, 3, no. 1 (2008), pp. 161–170. http://ba.stat.cmu.edu/journal/2008/vol03/issue01/aldrich.pdf.

McGrayne, The Theory That Would Not Die, Kindle location 48.

Tore Schweder, «Fisherian or Bayesian Methods of Integrating Diverse Statistical Information?» Fisheries Research, 37, 1–3 (August 1998), pp. 61–75. http://www.sciencedirect.com/science/article/pii/S0165783698001271.

Данные о первичных выборах 2008 г. демократической партии, RealClearPolitics.com. http://www.realclearpolitics.com/epolls/2008/president/nh/new_hampshire_democratic_primary-194.html.

Nate Silver, «Rasmussen Polls Were Biased and Inaccurate; Quinnipiac, SurveyUSA Performed Strongly», FiveThirtyEight, New York Times, November 4, 2010. http://fivethirtyeight.blogs.nytimes.com/2010/11/04/rasmussen-polls-were-biased-and-inaccurate-quinnipiac-surveyusa-performed-strongly/.

R. A. Grant and T. Halliday, «Predicting the Unpredictable: Evidence of Pre-Seismic Anticipatory Behaviour in the Common Toad», Journal of Zoology, 700, January 25, 2010. http://image.guardian.co.uk/sys-f%D0%B0iles/Environment/documents/2010/03/30/toads.pdf.

«Hate Group Formation Associated with Big-Box Stores», ScienceNewsline.com, April 11, 2012. http://www.sciencenewsline.com/psychology/2012041121000031.html.

Aldrich, «R. A. Fisher on Bayes and Bayes’ Theorem».

McGrayne, The Theory That Would Not Die, Kindle location 111.

Sir Ronald A. Fisher, «Smoking: The Cancer Controversy», Oliver and Boyd. http://www.york.ac.uk/depts/maths/histstat/smoking.htm.

Jean Marston, «Smoking Gun», NewScientist, no. 2646, March 8, 2008. http://www.newscientist.com/article/mg19726460.900-smoking-gun.html.

McGrayne, The Theory That Would Not Die, Kindle location 113.

Stolley, «When Genius Errs».

Там же.

Jo Tuckman and Robert Booth, «Four-Year-Old Could Hold Key in Search for Source of Swine Flu Outbreak», The Guardian; April 27, 2009. http://www.guardian.co.uk/world/2009/apr/27/swine-flu-search-outbreak-source

McGrayne, The Theory That Would Not Die, Kindle location 7.

Raymond S. Nickerson, «Null Hypothesis Significance Testing: A Review of an Old and Continuing Controversy», Psychological Methods, 5, 2 (2000), pp. 241–301. http://203.64.159.11/richman/plogxx/gallery/17/%E9%E2%97%A6%E2%97%A6%E2%97%A6%E2%97%A6 %-AB%98%E7%B5%B1%E5%A0%B1%E5%91%8A.pdf.