или хотя бы за несколько последних недель. Наверняка ответ – “не очень уж точно”. Не выматывались бы вы к концу всех тестирований в поведенческом эксперименте и учитывалось ли это исследователями? Точно ли обстановка, в какой проводится исследование (скажем, лаборатория в университете), имитирует условия, которые, собственно, и интересуют ученых (например, как при собеседовании на высокую должность)? Иными словами, действительно ли исследование отвечает поставленной задаче? Когда вы ставите себя на место участника, это помогает определиться с подобными базовыми вопросами, касающимися правдоподобности работы.
9. Воспроизводилось ли исследование? Нам нужно прекратить всецело доверять отдельным работам. Надежнее, когда ученые повторно получили собственные результаты, а еще лучше, если их воспроизвели и другие исследователи из совершенно независимых лабораторий. Первое, что надо сделать, – поискать, не опубликованы ли какие-то исследования-повторения [837]. Еще может найтись обзор или метаанализ, посвященный основным результатам статьи или же сходным результатам, который покажет, не является ли интересующее вас исследование просто некой аномалией, а также вписываются ли его результаты в более общую теорию (помните, что заинтересовавшее вас исследование само может быть неудавшейся попыткой воспроизвести более ранний результат). Разумеется, обзоры и метаанализы и сами бывают искажены из-за публикационного смещения и плохого качества исходных работ; если вам удалось найти метаанализ исследований, каждое из которых было заранее зарегистрировано, вы сорвали джекпот – правда, сам я, кажется, никогда не сталкивался с таким уникальным случаем (хотя в будущем это может измениться, поскольку предварительная регистрация становится все популярнее). Естественно, нельзя рассчитывать на то, что существует работа, воспроизводящая интересующее вас исследование, если оно совсем свежее и новаторское, однако можно воздержаться от суждений о его достоверности, пока такая работа не появится.
10. Что думают об этом исследовании другие ученые? В лучших новостных материалах о научных работах обычно цитируются слова какого-нибудь независимого ученого, выражающего свое мнение, так что имеет смысл посмотреть, нет ли уже где-то отзывов. Есть и организации, занимающиеся этим систематически: например, британская благотворительная организация “Научный пресс-центр” всякий раз, как выходит пресс-релиз о новой статье, запрашивает комментарии и отзывы у многих независимых экспертов и публикует на своем сайте [838]. Это хороший пример того, как рецензирование может происходить даже после официального выхода статьи. Еще стоит поискать информацию на сетевых ресурсах вроде Pubpeer, анонимного сайта с комментариями к научным статьям, где впервые вскрылось, что изображения из публикации о стволовых клетках Харуко Обокаты подделаны, и где разоблачались хитрости еще многих других мошенников [839]. Поискать какие-нибудь блоги или любые сайты, где обсуждается статья, в Google или даже пошерстить в твиттере тоже бывает полезно, только нужно отдавать себе отчет, что таким образом можно обнаружить как грамотное, так и бестолковое, как серьезное, так и шутливое, как непредвзятое, так и предвзятое обсуждение исследования [840]. Если работа вышла не вчера, вы можете использовать функцию “Цитируется” в Google Scholar, чтобы посмотреть, есть ли на эту статью ссылки, и проверить, как ее чаще цитируют – в положительном или же отрицательном ключе [841].
Ни один из этих довольно общих приемов не идеален, и не все они применимы к каждому виду исследований. Очевидно, что всегда лучше обладать какими-то предварительными знаниями и опытом в определенной научной области, чтобы полнее оценить сильные и слабые стороны конкретного исследования. Впрочем, все лучше, чем просто принимать чьи-то утверждения за чистую монету.
Еще важно помнить, чему мы научились благодаря саге о Стивене Джее Гулде, Сэмюэле Мортоне и нескончаемых дебатах о размерах черепов: даже если вы читаете кажущуюся разгромной критику некоего исследования, сам критический разбор может оказаться ошибочным, как и критика критического обзора. Это относится и ко всему, о чем я написал в этой книге.
Фундаментальный урок таков: нужно скромнее оценивать то, что мы знаем и чего не знаем. На первый взгляд может показаться, что это противоречит идее научного исследования, которая определенно в том и состоит, чтобы открывать новые факты о мире и всегда наращивать знание. Но поразмыслите хорошенько – и вы обнаружите, что сама суть науки в этом.
Все началось с Уилла Фрэнсиса, моего литературного агента, который и предложил мне написать книгу на эту тему. Уилл, Пи Джей Марк и вся команда Janklow & Nesbit невероятно помогали мне на всех этапах создания текста.
Работая с моими редакторами, Уиллом Хэммондом и Григорием Товбисом, я частенько вспоминал старое клише о том, что редактирование – это процесс превращения уродливой глыбы мрамора в красивую скульптуру. Поверьте, вам бы не захотелось читать эту книгу (если ее можно было бы так назвать), не внеси они свою вдумчивую и тщательную правку. Выражаю благодарность также сотрудникам Уилла и Григория в издательствах The Bodley Head и Metropolitan Books (особенно Элисон Дэйвис и Саре Фиттс) за все их усилия ради того, чтобы книга увидела свет. Еще я благодарен Мэриголд Этки за тщательную и благодушную правку, а Генри Кауфману – за обнадеживающую юридическую консультацию.
Несколько моих друзей читали и комментировали различные черновые варианты, и я очень им благодарен. Это Ник Браун, Ива Чукич, Джереми Драйвер, Стейси Шоу, Крис Сноудон и Кэти Янг. Отдельное спасибо хочу сказать двум читателям: Салони Даттани, которая моментально прочитывала первые черновики каждой главы, как только я их писал, и тут же сообщала, как они выглядят и что получилось, а что нет, и Анне Шеель, которая вышла далеко за рамки своих обязанностей и спасла меня от многочисленных статистических (и других) ловушек благодаря своему знанию статистики, необъятным познаниям в области открытой науки и исключительной проницательности по части формулировок и разных нюансов.
Я также в долгу перед всеми, кто подсказывал мне новые истории или ссылки, вел интересные беседы или спорил со мной о науке и ее проблемах либо просто оказывал столь необходимую поддержку в процессе написания книги. Это все члены группы Best Picture (Бобби Блюбелл, Кенни Фаркухарсон, Юэн Макколм и Иэн Рэнкин), все не упомянутые еще члены группы Fat Cops (Крис Эйр, Крис Дирин, Эл Мюррей и Нил Мюррей), Мораг и Найджел Аткинсоны, Майк Бёрд, Эван Бёрни, Робин Биссон, Сэм Боуман (который, как ни досадно это признавать, подал мне идею для названия книги), Крис Чабрис, Том Чиверс, Саймон Кокс, Гейл Дэйвис, Иэн Дири, Рори Эллвуд, Аласдер Фергюсон, Патрик Форшер, Анна Фёртджес, Роджер Джинер-Соролла, Ниалл Гуч, Саския Хагенаарс, Сара Хэйдер, Льюис Хэлси, Пейдж Харден, Кирсти Джонсон, Майк Джонс, Мустафа Латиф-Арамеш, Риккардо Мариони, Дэмиен Моррис, Ник Партингтон, Роберт Пломин, Дженнифер Рафф, Джо Роулинг,
