либо отрицательными, либо неоднозначными [683]. Пока все предсказуемо: некоторые исследования дали значимые результаты, а некоторые – нет. Проблема в том, что произошло дальше.
Просматривая все исследования, де Врис и ее команда наблюдали процесс “отмывания литературы”, превративший беспорядочный, пестрый набор испытаний в куда более четкую историю научного открытия, – процесс, благодаря которому рассматриваемые препараты стали выглядеть значительно более эффективными, чем они на самом деле были. Первым шагом стало публикационное смещение. В конечном итоге были опубликованы 98 % исследований с положительными результатами (пятьдесят два из пятидесяти трех), тогда как с отрицательными – только 48 % (двадцать пять из пятидесяти двух). В реальности соотношение положительных и отрицательных результатов было сбалансированным, близким к единице, а после публикации положительные результаты вдвое превосходили отрицательные. Как мы знаем, в научных журналах отрицательные результаты не приветствуются, однако для ясного видения научной летописи нам необходимо о них знать.
Вторым шагом стал p-хакинг, а именно переключение на другие исходы, при котором ученые смещают фокус своего исследования, когда обнаруживается, что их основной результат не является статистически значимым. Как только изменились изучаемые исходы, еще десять исследований с отрицательными результатами превратились в положительные (помните, в четвертой главе мы говорили, как переключение на другие исходы увеличивает вероятность, что наш результат – всего лишь ложноположительный). Пока еще оставалось пятнадцать исследований с явно отрицательными результатами – и в дело вступила подача под нужным углом. В десяти из этих пятнадцати исследований в аннотации или основном тексте статьи для придания результатам более позитивного характера в той или иной форме использовалась подача под нужным углом.
После этих хитростей осталось всего пять однозначно отрицательных исследований – то есть вдесятеро меньше, чем было исходно. И гнилой вишенкой на торте послужило то, что в итоге положительные испытания цитировались в последующих работах в три раза чаще, чем отрицательные. Весь этот удручающий процесс пошагово показан на рисунке 4.
Рис. 4. Хитрая схема, скрывающая отрицательные результаты. Каждая точка представляет собой испытание антидепрессантов; черные точки – испытания с отрицательными результатами. Мы можем наблюдать, как по мере движения слева направо исследования с отрицательными результатами исчезают. Отрицательные исследования публикуются значительно реже, чем положительные; превращаются в положительные за счет переключения на другие исходы; подаются под таким углом, чтобы выглядеть положительными, слегка либо значительно; цитируются гораздо реже, чем положительные исследования, чьи точки в последней колонке раздуты. В итоге мы видим почти исключительно положительные результаты. Адаптировано из De Vries Y. A. et al., 2018
Это характерно не только для исследований антидепрессантов: авторы отследили аналогичную цепочку событий в испытаниях новых методов психотерапии [684]. На самом деле то же самое происходит – в большей или меньшей степени – почти со всеми научными исследованиями. Любой будущий специалист по метаанализу, который захочет объять полную картину конкретной области исследований, получит чудовищно искаженную перспективу – и даже не узнает об этом, если, конечно, не изучит подробно регистрационные документы клинических испытаний (которые, кстати, не являются обязательными ни в каких других областях, кроме медицины). В работе де Врис не изучалось возможное мошенничество, или ошибки в дизайне исследования и при анализе результатов, или раскрутка при представлении методов лечения в средствах массовой информации и их продвижении, но мы без колебаний можем предположить, что и это все постоянно происходит, еще больше размывая реальные исследования.
Очевидно, что вскрытое де Врис и ее коллегами далеко от описанного в начале этой книги идеала науки, предполагающего, что социальные процессы публикации и рецензирования обеспечивают распространение по миру фактов и отсеивание любых случайных ошибок. Так как же науку спасти? Как нам перестроить культуру и стимулы для процессов публикации научных результатов, финансирования науки и определения приоритетов, чтобы они поощряли истину и надежность вместо ярких историй? Как нам оградить науку от ученых (воспользуемся названием документальной программы на радио BBC)?
В этой заключительной главе мы в общих чертах обсудим ответы на подобные вопросы. Во-первых, мы рассмотрим широкий спектр изменений, которые можно внести, чтобы предотвратить четыре основные проблемы: мошенничество, предвзятость, недобросовестность и хайп – или по крайней мере смягчить их последствия. Затем мы обсудим способы, какими можно преобразовать не только повседневную работу ученых, но и саму научную культуру. Некоторые изменения уже происходят, другие – дерзновенные проекты, способные произвести революцию в том, как наука делается.
В третьей главе мы видели, что университеты часто экранируют научных мошенников от последствий их действий. В знаменитых случаях, которые мы рассмотрели, плотину секретности в конце концов прорвало и имена мошенников всплыли: Дидерик Стапел, Паоло Маккиарини, Хван У Сок, Ян Хендрик Шён и легион других. Но во многих случаях менее злостного нарушения норм научной работы имена так никогда и не предаются огласке [685]. Неудивительно, что вокруг безнаказанно промышляет столько научных мошенников, если мало шансов, что их заметят, а кроме того, мало шансов, что, если их все-таки поймают, многие о том узнают. Таким образом, первое, что стоит менять: нужно хотя бы просто называть и стыдить тех, кого уличили в недобросовестной научной практике [686].
Конечно, университеты не сильно заинтересованы в том, чтобы это делать, поэтому следующая идея – отдать бразды правления в этом вопросе независимым организациям. Тут уже есть некоторые подвижки. Например, увидев, как Каролинский институт осрамился из-за дела Маккиарини о трансплантации трахей, шведское правительство в 2019 году приняло закон, запрещающий университетам самостоятельно расследовать случаи нарушения норм научной работы и предписывающий передавать эту ответственность независимому правительственному агентству [687].
Все это прекрасно, когда мошенничество уже обнаружено, но лучше было бы вообще предотвращать публикацию жульнических статей в журналах. И вот тут нам могут помочь технологии. Исследователи разрабатывают все более эффективные алгоритмы, способные выявлять в научных статьях поддельные данные и отыскивать нарушения вроде дублирования изображений [688]. Интересно будет сравнить технологические умения с навыками опытного человека, распознающего дублирования изображений, вроде Элизабет Бик из третьей главы, но теоретически алгоритмы должны сделать задачу выявления неправомерных манипуляций с данными гораздо менее трудоемкой. Журналы могли бы требовать, чтобы каждая представленная на рассмотрение работа оценивалась подобными алгоритмами (а также другими, о которых мы говорили ранее, например GRIM и statcheck), дабы все подозрительное было найдено еще до начала рецензирования. Еще журналы могли бы использовать специальные программы, выискивающие в тексте любой потенциальный плагиат или самоплагиат [689].
Подобные алгоритмы также помогают бороться с небрежностью [690]. Существенная часть огрехов, выявленных алгоритмом statcheck, – похоже, банальные ошибки, возникшие, когда исследователи копировали числа из
