Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке

Stuart Ritchie

Science Fictions. Exposing Fraud, Bias, Negligence and Hype in Science

© Stuart Ritchie 2020

© А. Якименко, перевод на русский язык, 2024

© А. Бондаренко, художественное оформление, макет, 2024

© ООО “Издательство Аст ”, 2024

Издательство CORPUS ®

* * *

Посвящается Кэтрин

Вот это – научный факт. Реальных доказательств тому нет, но это научный факт.

Из сериала Brass Eye^[1]

Предисловие

…Все же уму человеческому постоянно свойственно заблуждение, что он более поддается положительным доводам, чем отрицательным…^[2]

Фрэнсис Бэкон “Новый Органон” (1620)^[3]

В январе 2011 года мир узнал, что студенты обладают экстрасенсорными способностями.

Результаты из новой научной статьи произвели сенсацию: в серии лабораторных экспериментов с участием более чем тысячи человек было доказано существование экстрасенсорного предвидения – умения заглянуть в будущее с помощью сверхчувственного восприятия. Статью написал не какой-то неизвестный безумец, а ведущий профессор психологии Дэрил Бем из Корнеллского университета, входящего в Лигу плюща. И опубликована она была не абы где, а в одном из самых главных научных журналов по психологии, уважаемом и рецензируемом^[4]. Казалось, наука официально одобрила феномен, до того считавшийся абсолютно невозможным.

Я тогда был аспирантом, занимался психологией в Эдинбургском университете. И прилежно ознакомился со статьей Бема. Вот в чем заключался один из экспериментов. Студенты смотрели на экран компьютера, где появлялись два изображения занавеса. Им сказали, что за одним из изображений есть еще картинка и нужно предположить, за каким именно, нажав на него. Поскольку никакой дополнительной информации предоставлено не было, студенты могли лишь гадать. Когда они делали выбор, занавес исчезал – и они видели, правы оказались или нет. После тридцати шести повторений эксперимент завершался. Получилось нечто странноватое. Когда за занавесом прятался какой-нибудь нейтральный, скучный объект вроде стула, результат был почти идеально случайным: студенты делали правильный выбор в 49,8 % случаев, то есть вероятность угадать была, по сути, пятьдесят на пятьдесят. Однако – и в этом-то вся странность – когда спрятанная картинка была порнографической, студенты выбирали соответствующее изображение занавеса чуточку чаще, чем это предписывается простым угадыванием: в 53,1 % случаев, если быть точным. Разница превысила порог так называемой статистической значимости. В статье Бем предположил, что некое подсознательное, экстрасенсорное половое влечение самую малость подталкивало студентов к эротической картинке еще до того, как та появлялась на экране^[5].

Некоторые другие эксперименты Бема были менее откровенными, но не менее обескураживающими. В одном из них на экране поочередно появлялись сорок не связанных между собой слов. Затем проводилась проверка памяти – студенты должны были напечатать столько слов, сколько им удалось запомнить. Далее компьютер случайным образом выбирал двадцать слов из списка и снова высвечивал их на экране. На этом эксперимент завершался. Бем сообщил, что во время теста на запоминание студенты чаще припоминали те двадцать слов, которые вскоре снова увидят, хоть и не могли знать – разве что благодаря некой сверхъестественной интуиции, – какие именно слова им покажут. Как если бы студент готовился к экзамену, сдавал его, затем занимался еще уже после сдачи – и вот эта постэкзаменационная зубрежка каким-то образом прокладывала себе путь назад во времени, улучшая отметку. Времени положено идти лишь в одном направлении, если, конечно, законы физики внезапно не утрачивают своей силы. Причинам положено предшествовать своим следствиям, а не наступать после них. Однако публикация статьи Бема сделала эти странные результаты частью научной литературы.

Что важно, эксперименты Бема совершенно нехитрые, они не требуют ничего сложнее стационарного компьютера. Если Бем прав, любой исследователь мог получить доказательство существования паранормального, просто следуя его описанию того, как проводились эксперименты, – даже аспирант с примерно нулевыми ресурсами, каким был я. Именно это я и сделал: связался с двумя другими психологами, тоже сомневавшимися в объявленных результатах, Ричардом Вайзманом из Университета Хартфордшира и Крисом Френчем из Голдсмитского университета Лондона, и мы договорились трижды повторить эксперимент Бема со списком слов, по разу в каждом из трех наших солидных университетов. Несколько недель спустя, в течение которых мы набирали участников, ждали, пока они пройдут тест на запоминание, и смотрели, как на их лица наползает недоумевающее выражение, когда в конце мы объясняли, что именно проверяем, – итак, несколько недель спустя мы получили результаты. И они… не показали ничего. Наши студенты не были ясновидцами: слова, которые после теста снова высвечивались на экране, они припоминали не лучше и не хуже, чем остальные. Пожалуй, законы физики все-таки были вне опасности.

Мы надлежащим образом изложили свои результаты и отослали статью в тот же научный журнал, где была опубликована работа Бема, – Journal of Personality and Social Psychology. И почти моментально нам дали от ворот поворот. Редактор отклонил статью в течение нескольких дней, аргументировав это тем, что политика журнала – никогда не публиковать статьи, посвященные повторению каких-то предыдущих экспериментов, вне зависимости от того, воспроизвелись прежние результаты или нет^[6].

Разве неправы мы были, почувствовав себя оскорбленными? Журнал опубликовал статью, в которой были сделаны чрезвычайно смелые заявления – заявления, не просто представляющие интерес для психологов, а такие, что в корне изменили бы науку, окажись они правдивы. Результаты этой статьи попали в публичное пространство и получили широкую огласку в популярных медиа, в частности, Бема пригласили на вечернюю телепрограмму The Colbert Report, где ведущий употребил эффектное выражение “порно, путешествующее во времени”^[7]. И однако же редакторы журнала отказались даже рассматривать возможность публикации статьи, рассказывающей о повторении исследования и ставящей сенсационные результаты под сомнение^[8].

А тем временем развертывался и другой эпизод, тоже поднимающий тревожные вопросы о современном состоянии научной практики. Журнал Science, считающийся одним из самых престижных научных журналов в мире (уступающий разве что Nature), опубликовал статью Дидерика Стапела, социального психолога из Тилбургского университета в Нидерландах. В статье под заглавием “Преодолевая хаос” описывалось несколько исследований, проведенных в лаборатории и на улице, которые продемонстрировали, что люди сильнее подвержены предубеждениям – и расовым стереотипам – в более беспорядочной и загрязненной среде^[9]. Эта статья и некоторые другие из десятков работ Стапела произвели фурор во всем мире. “Хаос способствует стереотипам” – написала новостная служба журнала Nature; “Где мусор – там расизм” – грянула Sydney Morning Herald^[10]. Это был пример того типа исследований в области социальной психологии, что дают легкие для понимания результаты с “ясными практическими выводами”, как написал сам Стапел, – в данном случае следовало “заблаговременно выявлять беспорядок в окружающей среде и немедленно вмешиваться”^[11].

Проблема заключалась в том, что все это было неправдой. Некоторые коллеги Стапела насторожились, заметив, что результаты его экспериментов слишком уж идеальны. Мало того, обычно серьезные ученые настолько загружены, что доверяют черную работу вроде сбора данных своим студентам, однако Стапел будто бы сам выходил и собирал все данные собственноручно. После того как его коллеги в сентябре 2011 года поделились своей озабоченностью с университетским руководством, Стапел был отстранен от работы. За этим последовали многочисленные разбирательства^[12].

В автобиографии-исповеди, которую он потом написал, Стапел признался: вместо того чтобы собирать данные для своих исследований, он допоздна засиживался один в своем кабинете или за письменным столом у себя дома и вбивал в таблицу числа, необходимые для его воображаемых результатов, просто-напросто их выдумывая. “Я делал ужасные вещи, возможно даже отвратительные, – писал он. – Я подделывал научные данные и сочинял исследования, которых никогда не было. Работал я один, отчетливо осознавая, что делаю… И ничего не чувствовал: ни отвращения, ни стыда, ни сожалений”^[13]. Поразительно, но его мошенничество было сложноорганизованным и проработанным до мелочей. “Я выдумывал целые школы, где якобы проводил свои исследования, учителей, с которыми якобы обсуждал эксперименты, лекции, которые якобы читал, уроки по социальным наукам, проведению которых якобы способствовал, подарки, которые якобы дарил людям в благодарность за их участие в проекте”^[14].

Стапел описал, как распечатывал пустые бланки будто бы для того, чтобы раздать участникам исследований, показывал их коллегам и студентам, заявляя, что вот-вот запустит новый проект, а потом вдали от чужих глаз… выбрасывал всю эту макулатуру в бак для переработки. Это не могло больше продолжаться. Результаты инициированных разбирательств были однозначны – Стапела уволили вскоре после временного отстранения от работы. С тех пор не менее пятидесяти восьми его статей были отозваны – изъяты из научной летописи – из-за фальсификации данных.

Случаи с Бемом и Стапелом, когда уважаемые ученые публиковали на первый взгляд невозможные (Бем) или откровенно жульнические (Стапел) результаты, хорошо встряхнули дисциплину психологических исследований и вообще всю научную область. Как авторитетные научные журналы допустили эти работы до публикации? И скольким еще опубликованным ранее статьям нельзя верить? Как выяснилось, эти случаи послужили прекрасным примером гораздо более глубоких проблем в том, как мы занимаемся наукой.

В обоих случаях ключевой вопрос имел отношение к воспроизведению результатов. Научное открытие заслуживает того, чтобы его воспринимали всерьез, если это не что-то возникшее по случайности, или из-за неисправностей оборудования, или по милости ученого, мухлюющего или замалчивающего какие-то нестыковки. Это открытие должно действительно произойти. И если оно произошло, то я теоретически могу пойти и получить примерно те же результаты, что и вы. Во многом это и есть суть науки, именно это отличает ее от других способов познания мира: если какой-то результат не воспроизводится, трудно вообще назвать его научным.

Итак, тревогу вызвало не столько то, что эксперименты Бема были сомнительными, а Стапела – плодом его воображения (какие-то просчеты и ложные результаты неизбежны, они будут всегда^[15], а стало быть, увы, всегда будут и мошенники), настоящая проблема заключалась в том, как научное сообщество повело себя в обеих ситуациях. Наша с коллегами статья, посвященная воспроизведению экспериментов Бема, была бесцеремонно отвергнута журналом, опубликовавшим исходную работу, а в случае Стапела почти никто даже никогда не пытался воспроизвести его результаты^[16]. Иными словами, научное сообщество продемонстрировало, что согласно принимать на веру громкие заявления, звучащие в этих статьях, не проверяя, насколько на самом деле излагаемые результаты достоверны. А если воспроизводимость результатов никак не проверяется, откуда нам вообще знать, что они не просто случайны или сфальсифицированы?

Пожалуй, лучше всего отношение многих ученых к воспроизведению экспериментов выразил сам Бем в одном интервью через несколько лет после его печально известного исследования. “Я обеими руками за научную строгость, – сказал он, – но мне самому не хватает на нее терпения… Если бы вы ознакомились с предыдущими моими экспериментами, вы бы увидели, что все они служили своего рода риторическими приемами. Я собирал данные для того, чтобы изложить свою точку зрения. Я использовал данные как средство убеждения и, в сущности, никогда не переживал о том, воспроизведутся мои результаты или нет”^[17].

Беспокоиться, воспроизведутся ли результаты, – отнюдь не что-то опциональное. В этом основной смысл науки, смысл, который должен явно обнаруживаться в системе рецензирования и журнальных публикаций, играющей роль бастиона на пути ошибочных открытий, ложно понятых экспериментов и сомнительных данных. Однако, как будет показано дальше, эта система серьезно поломана. Ученые получают важные результаты, но они расцениваются как не слишком интересные для публикации, так что их изменяют или прячут, искажая научную летопись и вредя нашей медицине, технологиям, методикам обучения и государственной политике. Огромные ресурсы, вливаемые в науку в надежде на полезную отдачу, растрачиваются на исследования, абсолютно не несущие новых знаний. Легко предотвратимые ошибки и ляпы регулярно прорывают линию Мажино системы рецензирования. Книги, сообщения средств массовой информации и наши головы наполняются “фактами”, которые неверны, преувеличены или заведомо ложны. И в самых худших случаях, особенно когда дело касается медицинской науки, гибнут люди.

В других книгах ученые выводятся как борцы с целой галереей аферистов, представителей псевдонауки: с креационистами, гомеопатами, плоскоземельцами, астрологами и иже с ними, которые своей деятельностью олицетворяют полное непонимание науки и совершают над ней надругательство – обычно неосознанно, иногда злонамеренно и всегда безответственно^[18]. Моя же книга иная. В ней раскрывается глубинное разложение самой науки: разложение, влияющее на среду, в которой проводятся исследования и публикуются их результаты. Наука – практика, которая должна отличаться строжайшим скептицизмом, самым острым рационализмом и трезвым эмпиризмом, – стала вместилищем ошеломляющего количества заблуждений, некомпетентности, лжи и самообмана. И при этом основная цель науки – пробиваться как можно ближе к истине – подрывается.

В первой части этой книги будет показано, что занятие наукой подразумевает куда больше, чем просто проведение экспериментов и проверку гипотез. Наука по своей сути социальна, ведь вы должны убеждать других людей – остальных ученых – в том, что обнаружили. А поскольку наука – это еще и человеческая сфера, мы понимаем, что любой ученый будет подвержен человеческим особенностям, таким как иррациональность, предвзятость, сбои внимания, внутригрупповой фаворитизм и откровенное жульничество для получения желаемого. Чтобы ученые могли убеждать друг друга, стараясь при этом преодолеть неотъемлемые ограничения человеческой природы, наука создала систему сдержек и противовесов, которая – в теории – отделяет научные зерна от плевел. Такой процесс тщательного изучения и проверки на достоверность, приводящий к предполагаемому золотому стандарту публикаций в рецензируемых научных журналах, описывается в первой главе. Однако во второй главе показывается, что этот процесс катастрофически нарушен: в различных областях науки существуют бесчисленные опубликованные результаты, которые не воспроизводятся и достоверность которых крайне сомнительна.

Затем, во второй части книги, мы зададимся вопросом, почему так происходит. Мы обнаружим, что наша публикационная система, вместо того чтобы устранять или преодолевать всяческие человеческие факторы, позволяет им накладывать свой отпечаток на научную летопись – и именно потому, что считает себя объективной и беспристрастной. Возобладала своеобразная самоуверенность, странная самонадеянность, когда само существование системы рецензирования словно бы мешает нам распознавать ее недостатки. Казалось бы, рецензируемые статьи должны настолько приближаться к объективной фактографии устройства нашего мира, насколько это вообще возможно. Однако в ходе обсуждения многих десятков таких статей мы увидим, что нельзя надеяться, будто рецензирование гарантирует, что ученые будут честно (глава третья), непредвзято (глава четвертая), добросовестно (глава пятая) обращаться со своими результатами и трезво их оценивать (глава шестая).

В третьей части книги мы глубже погрузимся в научную практику. В седьмой главе будет показано: дело не только в том, что система не справляется со всеми обсуждаемыми видами злоупотреблений, – в действительности современное устройство научно-исследовательской деятельности стимулирует возникновение этих проблем, подталкивая ученых к зацикленности на авторитете, известности, финансировании и репутации в ущерб строгости и надежности результатов. Наконец, после того как мы диагностируем проблему, в восьмой главе будет описан ряд зачастую радикальных реформ научной практики, которые могли бы помочь переориентировать ее в направлении исходной цели – открывать факты о нашем мире.

Чтобы обосновать слабости научно-исследовательского процесса, по ходу повествования я буду рассказывать поучительные истории из самых разнообразных областей науки. Отчасти потому, что я психолог, преобладать будут примеры из психологии^[19]. Но в этой книге будет много говориться о психологии не только из-за моего образования и опыта работы. Причина также в том, что после инцидентов с Бемом и Стапелом (в числе многих других) психологи начали заниматься глубоким самокритическим анализом. Пожалуй, активнее, чем коллеги в любой другой области науки, мы, психологи, стали выявлять свои укоренившиеся недостатки и разрабатывать систематические подходы для борьбы с ними – подходы, которые многие другие дисциплины начинают заимствовать.

Первый шаг в починке нашей сломанной научной системы – научиться распознавать и исправлять те ошибки, что могут сбить ее с пути. А сделать это возможно только с помощью опять же науки. В книге я постоянно буду прибегать к метанауке – сравнительно новому типу научного исследования, в котором изучается само научное исследование. Если наука – это процесс выявления и устранения ошибок, то метанаука представляет собой тот же процесс, но нацеленный на внутренние проблемы.

Ошибки многому могут научить. Музыкант Тодд Рандгрен во вводном треке одного из своих альбомов предлагает слушателям сыграть в игру под названием “Студийные звуки”. Он описывает всевозможные огрехи, которые могут проявиться при записи музыки: гудение, шипение, щелчки, когда в микрофон пропевают слова, содержащие букву “п”, прерывистый монтаж и тому подобное. Рандгрен предлагает слушателям считывать такие шероховатости при прослушивании его песен в этом альбоме и любых других записей. И как понимание огрехов звукозаписывающих студий может по-новому раскрыть для вас процесс создания музыки, точно так же понимание того, как наука отклоняется от верного пути, может многое сказать о процессе, благодаря которому мы постигаем новое знание.

Узнав о серьезных проблемах с тем, как мы занимаемся наукой, вы придете в замешательство. Сколько любопытных результатов, о которых вы читали в новостях и научно-популярных книгах или узнавали из документальных фильмов (открытий, настолько вас восхитивших, что вы поделились ими с друзьями, или заставивших вас переосмыслить устройство нашего мира), основаны на слабых исследованиях, которые нельзя воспроизвести? Сколько раз врач прописывал вам лекарство или метод лечения, сведения об эффективности которого зиждутся на ущербных данных? Сколько раз вы меняли свой рацион, покупательские привычки или какой-то другой аспект образа жизни, руководствуясь научным исследованием, только чтобы убедиться, что его результаты через несколько месяцев будут полностью опровергнуты в новом исследовании? Сколько раз государственные деятели устанавливали законы или вырабатывали политику, напрямую влияющую на жизнь людей, ссылаясь на научные результаты, не выдерживающие критики? Ответ на каждый из этих вопросов один: это происходило гораздо чаще, чем вам хотелось бы думать.

Наивно рассчитывать, что абсолютно каждое научное исследование будет истинным – неким отчетом о незыблемых фактах, который никогда не подвергнется пересмотру в будущих исследованиях. Мир для этого чересчур беспорядочен. Надеяться можно только на то, что наши научные исследования заслуживают доверия, то есть честно сообщают, что произошло в экспериментах. Если хваленая система рецензирования не способна оправдать это доверие, наука утрачивает одно из своих основных и наиболее ценных качеств, наряду со способностью делать то, что она делает лучше всего: коренным образом менять наш мир благодаря постепенному появлению и развитию новых знаний, технологий, методик и средств лечения.

Моя цель – восхвалять науку, а не хоронить ее. В этой книге я отнюдь не нападаю на саму науку или ее методы. Напротив, я защищаю научные методы и вообще научные принципы от того, как сейчас занимаются наукой. Беды, о которых мы будем говорить, так тревожат именно из-за важности науки: позволяя ей померкнуть, а прогрессу страшно забуксовать, мы подвергаем себя риску разрушить одно из величайших достижений нашего вида.

Однако нанесенный ущерб поправим. Теоретически – а возможно, и в практическом плане – наука все еще способна быть функциональной и надежной системой знаний, какой она нам и нужна. Пока мы будем обсуждать в этой книге череду научных провалов, стоит держать в голове позитивную мысль (дрожащий проблеск надежды и утешения, что вырывается из ящика Пандоры, наполненного мошенничеством, предвзятостью, недобросовестностью и хайпом, который мы вскроем в следующих главах): почти все описываемые проблемы были обнаружены другими учеными. Умные идеи метанауки, предложенные для борьбы с этими проблемами и наведенным беспорядком, в значительной мере зародились внутри научного сообщества. Пусть во многих областях он и погребен глубоко, но дух самокритики, вдыхающий жизнь в подлинную науку, еще теплится.

И хорошо, что так, поскольку, как мы вскоре увидим, в науке царит изрядный бардак.