Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

509

Со сходным случаем я столкнулся, консультируя крупную голливудскую киностудию в 2009 г. Руководство этой студии, обладавшей сложной структурой и на протяжении многих лет управлявшейся с помощью данных, верило, что определенный уик-энд, скажем, первый уик-энд октября, – особенно хороший момент для начала показа потенциального блокбастера, даже если не было связи ни с какими другими факторами. Это произошло из-за того, что студия в прошлом выпустила фильм, показ которого начался в это время и который оказался на редкость удачным (возможно, просто из-за того, что это был очень хороший фильм). Однако студия приписала часть успеха периоду начала показа. Поэтому в каждом следующем году она приберегала свои лучшие релизы на один и тот же уик-энд октября, а затем изо всех сил начинала заниматься его продвижением. Разумеется, хороший и активно рекламируемый фильм будет финансово успешным вне зависимости от того, когда он выходит в прокат. Тем не менее происходившее лишь подтверждало их предсказание о том, что начало октября – самое лучшее время для выпуска фильма.

Это расчет основан на количестве детей, отнесенных к аутистам и тем самым получивших право на обучение по особой программе в государственных школах в соответствии с федеральным законом IDEAS Act. «Table 45. Children 3 to 21 Years Old Served Under Individuals with Disabilities Education Act, Part B, by Type of Disability: Selected Years, 1976–77 through 2008–09», Digest of Educational Statistics, National Center for Education Statistics, Institute of Education Sciences, 2010. http://nces.ed.gov/programs/digest/d10/tables/dt10_045.asp.

По данным NewsLibrary.com. На рис. 7.3 приведены цифры количества статей с обсуждением темы аутизма, отражающие общее количество статей в базе данных NewsLibrary.com на конкретный год, а затем проиндексированные таким образом, чтобы соответствовать по масштабу количеству учеников государственных школ, обучавшихся по специальным программам в области аутизма в соответствии с законом IDEAS Act.

Tomohisa Yamashita, Kiyoshi Izumi, Koichi Kurumatani, «Effective Information Sharing Based on Mass User Support for Reduction of Traffic Congestion», presented at the New England Complex Systems Institute’s Fifth International Conference on Complex Systems, May 16–21, 2004. http://www.necsi.edu/events/iccs/openconf/author/papers/f190.pdf.

Hyejin Youn, Hawoong Jeong, and Michael T. Gastner, «The Price of Anarchy in Transportation Networks: Efficiency and Optimality Control», Physical Review Letters, 101, August 2008. http://arxiv.org/pdf/0712.1598.pdf.

Hanna Kokko, «Useful Ways of Being Wrong», Journal of Evolutionary Biology, 18 (2005), pp. 1155–1157. http://www.anu.edu.au/BoZo/kokko/Publ/Wrong.pdf.

W. O. Kermack and A. G. McKendrick, «A Contribution to the Mathematical Theory of Epidemics», Proceedings of the Royal Society A, 115 (1927), pp. 700–721.

H-H. M. Truong, et al., «Increases in Sexually Transmitted Infections and Sexual Risk Behaviour Without a Concurrent Increase in HIV Incidence Among Men Who Have Sex with Men in San Francisco: A Suggestion of HIV Serosorting?», Sexually Transmitted Infections, 82, 6 (2006), pp. 461–466.

Идея «презерватива усталости» заключалась в том, что геи просто устали от того, что они должны использовать презерватив каждый раз, когда занимались сексом.

Thomas H. Maugh II, «Experts Fear Resurgence of HIV Infection», Los Angeles Times, July 8, 2000. http://articles.latimes.com/2000/jul/08/news/mn-49552.

Термин MSM более предпочтителен в медицинской литературе для описания подобных случаев; он более точен, чем термины «гомосексуалист» или «гей», которые часто относятся к сексуальной самоидентификации, чем к сексуальному поведению. Некоторые мужчины, называющие себя сторонниками традиционной ориентации (или бисексуалами), тем не менее занимаются сексом с мужчинами; а некоторые мужчины, называющие себя геями, могут заниматься сексом с женщинами или вообще воздерживаться от секса.

По данным департамента здравоохранения Сан-Франциско.

Christopher S. Hall and Gail Bolan, «Syphilis and HIV», HIV InSite Knowledge Base Chapter, University of California San Francisco; June 2006. http://hivinsite.ucsf.edu/InSite?page=kb-05%E2%80%9301%E2%80%9304.

H-H M. Truong et al., «Increases in Sexually Transmitted Infections and Sexual Risk Behaviour Without a Concurrent Increase in HIV Incidence Among Men Who Have Sex with Men in San Francisco: A Suggestion of HIV Serosorting?»

Fengyi Jin, et al., «Per-Contact Probability of HIV Transmission in Homosexual Men in Sydney in the Era of HAART», AIDS, 24, pp. 907–913, 2010. http://www.who.int/hiv/events/artprevention/jin_per.pdf.

Значительная часть исследований предполагала, что тенденцию определяли мужчины, имевшие ВИЧ: большинство из них предпочло бы заниматься сексом с другими партнерами, также имевшими ВИЧ, особенно если они не планировали использовать презерватив. Появление интернета, а также целого ряда сетей поддержки в офлайне, значительно упростило этот выбор.

Larry Green, «Measles on Rise Nationwide; Chicago Worst Hit», Los Angeles Times, August 5, 1989. http://articles.latimes.com/1989-08-05/news/mn-469_1_chicago-health.

Justin Lessler et al., «Transmissibility of Swine Flu at Fort Dix, 1976», Journal of the Royal Society Interface, 4, no. 15, pp. 755–762, August 2007. http://rsif.royalsocietypublishing.org/content/4/15/755.full.

Justin Lessler et al., «Transmissibility of Swine Flu at Fort Dix, 1976», Journal of the Royal Society Interface, 4, no. 15, pp. 755–762, August 2007. http://rsif.royalsocietypublishing.org/content/4/15/755.full.

Фразу «Сделайте это изощренно просто» часто использовал покойный экономист Арнольд Зеллнер.

«Healthy Hand Washing Survey 2011», Bradley Corp. http://www.bradleycorp.com/handwashing/survey.jsp.

http://www.altpenis.com/penis_news/20060710032108data_trunc_sys.shtml.

«An Agent-Based Approach to HIV/AIDS Epidemic Modeling: A Case Study of Papua New Guinea», thesis, Massachusetts Institute of Technology, 2006. http://dspace.mit.edu/handle/1721.1/34528.

Shan Mei, et al., «Complex Agent Networks Explaining the HIV Epidemic Among Homosexual Men in Amsterdam», Mathematics and Computers in Simulation, 80, no. 5, January 2010. http://portal.acm.org/citation.cfm?id=1743988.

Donald G. McNeil Jr., «Predicting Flu with the Aid of (George) Washington», New York Times, May 3, 2009. http://www.nytimes.com/2009/05/04/health/04model.html?hp.

Michael A. Babyak, «What You See May Not Be What You Get: A Brief, Nontechnical Introduction to Overfitting in Regression-Type Models», Statistical Corner, Psychosomatic Medicine, 66 (2004), pp. 411–421.

Даже если модель предсказания представляет собой всего лишь мыслительный эксперимент, полезные результаты которого можно ждать годами, она все равно может помочь нам понять масштаб проблемы. Уравнение Дрейка, формула, позволяющая прогнозировать количество разумных внеземных видов во Вселенной, вряд ли поможет нам в создании полезных и верифицируемых предсказаний в течение жизни нынешних поколений (а может быть, и всей человеческой цивилизации). Неопределенность слишком велика. Слишком многие параметры формулы пока неизвестны, равно как и их масштаб; в зависимости от вводимых параметров она может показывать различные результаты – как то, что мы одиноки во Вселенной, так и то, что в ней существуют многие миллиарды внеземных видов. Тем не менее уравнение Дрейка стало для астрономов невероятно полезным «объективом», позволявшим размышлять о жизни, Вселенной и многом другом.

George E. P. Box and Norman R. Draper, Empirical Model-Building and Response Surfaces (New York: Wiley, 1987), p. 424.

«Norbert Wiener», Wikiquote.org. http://en.wikiquote.org/wiki/Norbert_Wiener.

Roland Lazenby, The Show: The Inside Story of the Spectacular Los Angeles Lakers in the Words of Those Who Lived It (New York: McGraw-Hill Professional, 2006).

Mark Heisler, «The Times’ Rankings: Top to Bottom/NBA», Los Angeles Times, November 7, 1999.

Tom Spousta, «Pro Basketball: Trail Blazers Have Had Some Success Containing O’Neal», New York Times, May 20, 2000. http://www.nytimes.com/2000/05/20/sports/pro-basketball-trail-blazers-have-had-some-success-containing-o-neal.html?scp=2&sq=lakers+portland&st=nyt.

«Blazer Blowout Shows Need for ‘Sheed,”», Associated Press; May 22, 2000. http://web.archive.org/web/20041226093339/ http://sportsmed.starwave.com/nba/2000/20000522/recap/porlal.html.

Tom Spousta, «Pro Basketball: Game 2 Was a Blur as Lakers Lost Focus», New York Times, May 24, 2000. http://www.nytimes.com/2000/05/24/sports/pro-basketball-game-2-was-a-blur-as-lakers-lost-focus.html?scp=3&sq=lakers+portland&st=nyt.

Tom Spousta, «Pro Basketball: Lakers Rally and Get Back on Track», New York Times, May 27, 2012. http://www.nytimes.com/2000/05/27/sports/pro-basketball-lakers-rally-and-get-back-on-track.html?scp=14&sq=lakers+portland&st=nyt

Tom Spousta, «Pro Basketball: Everything Comes Up Roses for the Lakers», New York Times, May 29, 2000. http://www.nytimes.com/2000/05/29/sports/pro-basketball-everything-comes-up-roses-for-the-lakers.html?scp=16&sq=lakers+portland&st=nyt

«Seventh Heaven: Blazers Send Series Back to L.A. for Game 7», Associated Press via Sports Illustrated, June 3, 2000. http://sportsillustrated.cnn.com/basketball/nba/2000/playoffs/news/2000/06/02/lakers_blazers_gm6_ap/.

То есть 300 тыс. долл. от выигрыша ставки в 200 тыс. долларов на Portland при шансах 3 к 2, за вычетом 80 тыс. долл., изначально поставленных Вулгарисом на Lakers.

Tom Spousta, «Pro Basketball: Trail Blazers Follow Plan to the Bitter End», New York Times, June 7, 2000. http://www.nytimes.com/2000/06/05/sports/pro-basketball-trail-blazers-follow-plan-to-the-bitter-end.html?scp=28&sq=lakers+portland&st=nyt.

На основании сравнения между собой отдельных игр, данные о которых были загружены с сайта Basketballvalue.com. http://basketballvalue.com/downloads.php.

Данные основаны на логистическом регрессионном анализе, который я провел в отношении всех игр в регулярном сезоне НБА 2009–2010 гг., где в качестве независимой переменной выступала разница очков между командами хозяев и гостей за 14 минут до конца игры, а в качестве зависимой – факт выигрыша команды хозяев. Результат регрессионной модели составляет 0,056 при разнице очков –16; иными словами, вероятность победы команды хозяев при отставании на 16 очков составляет 5,6 %, иными словами, 1 шанс против 17. Я округлил это значение до 1 против 15, поскольку команда, отстающая на 16 очков в домашнем матче, обычно уступает своему оппоненту, а Lakers и Blazers находились примерно на одном уровне.