Вот еще пара примеров журналов со стратегией “принимать к публикации все высококачественное, независимо от предполагаемого воздействия”:
PeerJ (
https://
peerj.com) и
Royal Society Open Science (
https://
royalsocietypublishing.org/
journal/
rsos).
www.apa.org/pubs/journals/psp/?tab=4
Srivastava S. A Pottery Barn Rule for Scientific Journals. The Hardest Science. 27 Sept. 2012. Это именуют “правилом гончарной мастерской” (Pottery Barn Rule), по названию сети американских магазинов Pottery Barn, где оно якобы применяется. Однако это что-то вроде городской легенды, поскольку в магазинах Pottery Barn такого правила нет. См. Grant D. You Break It, You Buy It? Not According to the Law. Crafts Report. April 2005.
Nosek B. A. et al. Promoting an Open Research Culture. Science. 348, no. 6242 (2015): 1422–5.
De Vrieze J. “Replication Grants” Will Allow Researchers to Repeat Nine Influential Studies That Still Raise Questions. Science. 11 July 2017.
Приведу лишь два хорошо изученных примера, относящихся к середине и концу XX века: Bakan D. The Test of Significance in Psychological Research. Psychological Bulletin. 66, no. 6 (1966): 423–37; Cohen J. The Earth Is Round (p <.05). American Psychologist. 49, no. 12 (1994): 997–1003.
Ziliak S. T., McCloskey D. N. The Cult of Statistical Significance: How the Standard Error Costs Us Jobs, Justice, and Lives, Economics, Cognition, and Society. Ann Arbor: University of Michigan Press, 2008.
Amrhein V. et al. Scientists Rise up against Statistical Significance. Nature. 567, no. 7748 (2019): 305–7.
Подробнее эта точка зрения изложена здесь: Cumming G. The New Statistics: Why and How. Psychological Science. 25, no. 1 (2014): 7–29; Halsey L. G. The Reign of the p-Value Is Over: What Alternative Analyses Could We Employ to Fill the Power Vacuum? Biology Letters. 15, no. 5 (2019): 20190174.
Если известны величина эффекта и p-значение, вы можете вычислить доверительный интервал, и наоборот. См. Altman D. G., Bland J. M. How to Obtain the Confidence Interval from a P Value. BMJ. 343 (2011): d2090; Altman D. G., Bland J. M. How to Obtain the P Value from a Confidence Interval. BMJ. 343 (2011): d2304.
Ioannidis J. P. A. The Importance of Predefined Rules and Prespecified Statistical Analyses: Do Not Abandon Significance. JAMA. 321, no. 21 (2019): 2067.
Цитируется по: Gelman A. “Retire Statistical Significance”: The Discussion. Statistical Modeling, Causal Inference, and Social Science. 20 March 2019.
В этом смысле байесовская априорность – это математическое воплощение знаменитой фразы Карла Сагана “Экстраординарные утверждения требуют экстраординарных доказательств”.
К слову, более распространенная статистическая традиция, где присутствуют p-значения, называется частотной статистикой (частотным подходом). Потому что тех, кто использует p-значения, по сути, интересуют частоты – главным образом частота, с которой вы получали бы результаты с p-значениями ниже 0,05, если бы проверяемая вами гипотеза была неверна, а исследование проводилось бы бесконечное число раз.
Полезный аннотированный список литературы, который служит введением в байесовскую статистику, см. здесь: Etz A. et al. How to Become a Bayesian in Eight Easy Steps: An Annotated Reading List. Psychonomic Bulletin & Review. 25, no. 1 (2018): 219–34. Еще см. McElreath R. Statistical Rethinking: A Bayesian Course with Examples in R and Stan. Boca Raton: CRC Press / Taylor & Francis Group, 2016.
Доводы в защиту (зачастую весьма квалифицированную) затравленных p-значений см. тут: Savalei V., Dunn E. Is the Call to Abandon P-Values the Red Herring of the Replicability Crisis? Frontiers in Psychology. 6:245 (2015); Murtaugh P. A. In Defense of P Values. Ecology. 95, no. 3 (2014): 611–7; Senn S. Two Cheers for P-Values? Journal of Epidemiology and Biostatistics. 6, no. 2 (2001): 193–204.
Benjamin D. J. et al. Redefine Statistical Significance. Nature Human Behaviour. 2, no. 1 (2018): 6–10. Впрочем, см. и ответ: Lakens D. et al. Justify Your Alpha. Nature Human Behaviour. 2, no. 3 (2018): 168–71. Есть также новые статистические методы, в которых все еще используются p-значения, но отброшен наивный сценарий, когда результаты всегда сравниваются с нулем (или нулевой разницей). См. Lakens D. et al. Equivalence Testing for Psychological Research: A Tutorial. Advances in Methods and Practices in Psychological Science. 1, no. 2 (2018): 259–69.
Либо же исследователи могли бы проводить анализ данных самостоятельно, но при этом позволять независимым статистикам его интерпретировать. Boutron I., Ravaud P. Misrepresentation and Distortion of Research in Biomedical Literature. Proceedings of the National Academy of Sciences. 115, no. 11 (2018): 2613–9.
Или когда статистик считает, что плох сам дизайн исследования. Известно такое высказывание Рональда Фишера 1938 года: “Зачастую консультироваться со статистиком после завершения эксперимента – значит просто просить его провести посмертное обследование. Возможно, он сумеет сказать, от чего эксперимент умер”. Fisher R. Presidential Address [to the First Indian Statistical Congress]. Sankhya: The Indian Journal of Statistics (1933–1960). 4, no. 1 (1938): 14–7.
“Анализ кривой спецификаций”: Simonsohn U. et al. Specification Curve: Descriptive and Inferential Statistics on All Reasonable Specifications. SSRN. 2015. “Анализ вибраций эффектов”: Patel C. J. et al. Assessment of Vibration of Effects Due to Model Specification Can Demonstrate the Instability of Observational Associations. Journal of Clinical Epidemiology. 68, no. 9 (2015): 1046–58. “Анализ мультивселенной”: Steegen S. et al. Increasing Transparency Through a Multiverse Analysis. Perspectives on Psychological Science. 11, no. 5 (2016): 702–12.
Orben A., Przybylski A. K. The Association between Adolescent Well-Being and Digital Technology Use. Nature Human Behaviour. 3, no. 2 (2019): 173–82. Признание: Орбен и Пшибыльски – мои друзья и коллеги.
Blanchard S. Smartphones and Tablets Are Causing Mental Health Problems in Children as Young as TWO by Crushing Their Curiosity and Making Them Anxious. MailOnline. 2 Nov. 2018.
См., например: Twenge J. M. Have Smartphones Destroyed a Generation? Atlantic. Sept. 2017; Twenge J. M.
