частью серьезной дискуссии об уровне значимости. Lakens D. et al.
Justify Your Alpha. Nature Human Behaviour. 2, no. 3 (2018): 168–71.
Spiegelhalter D. Explaining 5-Sigma for the Higgs: How Well Did They Do? Understanding Uncertainty. 8 July 2012.
Dawkins R. The Tyranny of the Discontinuous Mind. New Statesman. 19 Dec. 2011. Обсуждение этого вопроса также можно найти в прекрасной книге Докинза: Dawkins R., Wong Y. The Ancestor’s Tale: A Pilgrimage to the Dawn of Life. London: Weidenfeld & Nicolson, 2016. [Докинз Р. Рассказ предка. Паломничество к истокам жизни. М.: Corpus, 2015.]
Влиянию вакцинации на снижение смертности от болезни был посвящен самый первый в истории метаанализ по медицинской теме – его провел статистик Карл Пирсон в 1904 году (для брюшного тифа), хотя методика еще не получила названия “метаанализ”. Pearson K. Report on Certain Enteric Fever Inoculation Statistics. BMJ. 2, no. 2288 (1904): 1243–6. Познавательная история и обзор метаанализа изложены здесь: Gurevitch J. et al. Meta-Analysis and the Science of Research Synthesis. Nature. 555, no. 7695 (2018): 175–82. Изменение климата: Challinor A. J. et al. A Meta-Analysis of Crop Yield under Climate Change and Adaptation. Nature Climate Change. 4, no. 4 (2014): 287–91.
Так будет, если все остальные условия совершенно одинаковы. Однако на точность результатов исследования помимо размера выборки влияет еще много других факторов, например качество измерений. Хотя размер выборки обычно служит неплохим показателем, сейчас большинство специалистов по метаанализу используют более непосредственную меру точности результата – так называемое стандартное отклонение (стандартную ошибку среднего). Именно его чаще всего откладывают по вертикальной оси на воронкообразных диаграммах.
При вычислении p-значений более существенные флуктуации небольших исследований учитываются. Если бы в действительности между мужчинами и женщинами в Шотландии различия в росте не было, то маловероятно было бы обнаружить в выборке столь значительную разницу, как десять сантиметров, однако это все равно могло бы получиться случайно при измерениях в маленькой выборке. Напомню, что p-значение для разницы в десять сантиметров в нашей выборке из десяти мужчин и десяти женщин равнялось 0,03. Вероятность обнаружить такую же разницу в десять сантиметров в выборке из тысячи мужчин и тысячи женщин была бы чрезвычайно мала, так что p-значение было бы мизерным (скажем, 0,0000001 или меньше). В таком случае у нас имелось бы более надежное свидетельство того, что в популяции действительно есть “истинный” эффект. Этот пример показывает нам, почему p-значение не является мерой величины или важности результата: одинаковая величина эффекта может давать разные p-значения – в зависимости от размера выборки.
Shanks D. R. et al. Romance, Risk, and Replication: Can Consumer Choices and Risk-Taking Be Primed by Mating Motives? Journal of Experimental Psychology: General. 144, no. 6 (2015): e142–58. Другой пример, на сей раз касающийся денежного прайминга, со сходными результатами: Lodder P. et al. A Comprehensive Meta-Analysis of Money Priming. Journal of Experimental Psychology: General. 148, no. 4 (2019): 688–712.
Kyzas P. A. et al. Almost All Articles on Cancer Prognostic Markers Report Statistically Significant Results. European Journal of Cancer. 43, no. 17 (2007): 2559–79.
Tzoulaki I. et al. Bias in Associations of Emerging Biomarkers with Cardiovascular Disease. JAMA Internal Medicine. 173, no. 8 (2013): 664.
См. Turner E. H. et al. Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy. New England Journal of Medicine. 358, no. 3 (2008): 252–60. На момент написания этих строк самый последний метаанализ, посвященный антидепрессантам, действительно показал (умеренное) влияние на симптомы депрессии: Cipriani A. et al. Comparative Efficacy and Acceptability of 21 Antidepressant Drugs for the Acute Treatment of Adults with Major Depressive Disorder: A Systematic Review and Network Meta-Analysis. Lancet. 391, no. 10128 (2018): 1357–66.
Onishi A., Furukawa T. A. Publication Bias Is Underreported in Systematic Reviews Published in High-Impact-Factor Journals: Metaepidemiologic Study. Journal of Clinical Epidemiology. 67, no. 12 (2014): 1320–6.
Herrmann D. et al. Statistical Controversies in Clinical Research: Publication Bias Evaluations Are Not Routinely Conducted in Clinical Oncology Systematic Reviews. Annals of Oncology. 28, no. 5 (2017): 931–7.
Есть целый ряд методов, которые позволяют внести поправку к величине эффекта, если в своем метаанализе вы обнаружили признаки публикационного смещения. Я всегда применяю их с легкой тревогой, поскольку по сути это предположения (о том, насколько вам нужно уменьшить величину эффекта), основанные на предположениях (насколько публикационное смещение повлияло тут на результат). Подробнее см., например: Carter E. C. et al. Correcting for Bias in Psychology: A Comparison of Meta-Analytic Methods. Advances in Methods and Practices in Psychological Science. 2, no. 2 (2019): 115–44.
Cressey D. Tool for Detecting Publication Bias Goes under Spotlight. Nature. 31 March 2017; Morey R. Asymmetric Funnel Plots without Publication Bias. BayesFactor. 9 Jan. 2016.
Franco A. et al. Publication Bias in the Social Sciences: Unlocking the File Drawer. Science. 345, no. 6203 (2014): 1502–5.
www.tessexperiments.org. Бонус этой программы в том, что все заявленные исследования проходят рецензирование с учетом специальных критериев, поэтому те, что в итоге отбираются и воплощаются, все высокого качества и характеризуются высокой статистической мощностью (обсуждение статистической мощности и ее значения см. в пятой главе).
Эти значения вычислены по таблице 2 из статьи Franco A. et al. Publication Bias in the Social Sciences: числа из столбца “Опубликованы” были поделены на общее количество статей из нижней строки.
Все цитаты приводятся по дополнительным материалам (таблице S6) к статье Franco A. et al. Publication Bias in the Social Sciences.
Вывод, сделанный в статье Франко о публикационном смещении, находит подтверждение здесь: Dwan K. et al. Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias. PLOS ONE. 3, no. 8 (2008): e3081. Другая классическая статья на эту тему: Chan A.-W. et al. Empirical Evidence for Selective Reporting
