Плохая наука: каким советам не стоит доверять

Известный британский психиатр, эпидемиолог и научный журналист Бен Голдакр выступил с призывом бороться с псевдонаукой. В видео, набравшем уже почти 2 млн просмотров, он подробно объясняет, почему некоторым околонаучным изданиям нельзя доверять, а также напоминает, что ко всей информации нужно относиться критически.

По мнению Голдакра, СМИ вносят неразбериху, запутывая читателей, которые не могут самостоятельно отделить правдивую информацию от сомнительной.

«Вот некоторые причины рака, которые газеты определили недавно: развод, Wi-Fi, туалетные принадлежности и кофе. А эти вещи, как они говорят, предотвращают рак: сухари, красный перец, лакрица и кофе. Вы уже видите, что есть противоречия. Кофе и вызывает рак, и предотвращает его. Начав читать, вы сразу понимаете, что за некоторыми вещами может лежать политический подтекст. Так, работа по дому предотвращает рак груди у женщин, но мужчин шоппинг может сделать импотентом. Нужно начать разоблачать «науку», которая за этим стоит», – призывает Голдакр.

Наука – это постоянный поиск истины, считает Бен. Разоблачение псевдонаучных статей он считает общественно-полезным трудом, так как наука подразумевает критическую оценку доказательств чужой точки зрения.

«Что происходит в научных журналах и что происходит на научных конференциях? Диспуты после презентации данных превращаются в кровавую баню. И никто не против. Мы активно приветствуем это. Мы согласны на интеллектуальный садомазохизм», – говорит Голдакр.

Эксперт дает некоторые советы, как нужно подходить к информации, которую транслируют различные источники.

1. Не доверяйте экспертам безоговорочно

Голдакр считает слабейшей формой доказательств, известной человеку, апелляцию к авторитету. Не нужно верить эксперту только потому, что перед его именем стоит множество регалий. Авторитет не должен впечатлять сам по себе, потому что все его звания легко сфабриковать.

Например, в Британии популярна доктор Джиллиан МакКейт, известный борец с неправильным питанием.

«В каждой стране есть такие. Она – наш теле-гуру по диетологии. У неё пять серий на телевидение в прайм-тайм, которые выдают щедрые и экзотические советы по здоровью. Оказывается, она сдавала экзамены на получение степени в неаккредитованном вузе где-то в Америке.Также она хвастается сертификатом профессионального члена Американской ассоциации консультантов по диетологии, что звучит очень гламурно и захватывающе. У вас есть сертификат и всё такое. Но на самом деле получить сертификат может кто угодно. Вы просто заходите на сайт, заполняете форму, даёте им 60$, и сертификат приходит по почте», – говорит Голдакр.

2. Обращайте внимание на логику

Информация, претендующая на научность, должна как минимум соответствовать формальной логике. Конечно, все может быть написано или рассказано гладко и ровно, но нужно подключать собственную голову, чтобы понять, верные ли выводы делаются авторами.

Голдакр приводит в пример статью из газеты Daily Telegraph с заголовком «Бокал красного вина в день помогает предотвратить рак молочной железы».

«Берём эту газету и видим там настоящий научный шедевр. Это описание изменений в одном из ферментов, когда вы капаете химикат, добытый из кожицы красного винограда, на какие-то раковые клетки в пробирке в какой-то лаборатории. И это действительно интересная штука для научной статьи, но что касается вашего личного риска заболеть раком груди, если вы пьёте красное вино, то тут всё как раз наоборот. Оказывается, риск развития рака молочной железы на самом деле увеличивается с приростом выпиваемого алкоголя», – говорит эксперт.

Другой пример взят из еще одной популярной газеты с большим тиражом – Daily Mirror. Там написали, что одно австралийское исследование показало, что оливковое масло в сочетании с фруктами, овощами и бобовыми даёт измеримую защиту от морщин. Затем журналист советует: «Ешьте овощи с оливковым маслом, и у вас будет меньше морщин». Но на самом деле, очень сложно проверить, действительно ли меньшее количество морщин объясняется именно употреблением оливкового масла.

«Конечно, вы можете посмотреть на людей вокруг и обнаружить, что люди, которые едят овощи и оливковое масло, имеют меньше морщин. Но это может быть связано с тем, что помимо этого они богатые, меньше работают на открытом воздухе, меньше занимаются физическим трудом, более социально обеспечены, меньше курят. Так что из-за целого ряда интересных, взаимосвязанных социальных, политических и культурных причин они менее подвержены морщинам, но это не значит, что это все благодаря овощам или оливковому маслу», – говорит Голдакр.

3. Не верьте всем экспериментам

Стандартный способ организовать какое-то испытание: возьмите много людей, разделите их пополам, с одной группой обращайтесь одним образом, с другой – другим, через некоторое время сравните результаты. Но всегда должна быть «контрольная группа», которая не подвергалась воздействиям. Например, если проводится исследования медицинского препарата, должна быть группа, которая получала его, и группа, которая не получала.

Недавно в Великобритании были обнародованы результаты испытания таблеток с рыбьим жиром. Утверждалось, что они улучшают успеваемость и поведение у обычных детей. Были выбраны 3000 детей, все они получали шесть таблеток в день, а год спустя оценивалась их успеваемость. Причем результаты экзаменов сравнивались с их «прогнозируемыми» результатами – какой бы балл набрал ребенок, если бы не пил таблетки. У этого исследования два очевидных пробела: во-первых, нет контрольной группы, о которой говорилось выше. То есть препарат получали все дети, сравнить не с чем. Кроме того, не учитывалось, что за год дети стали старше и, что логично, их знания и умения тоже изменились. Также не стоит забывать про эффект плацебо, помня о котором настоящие ученые обычно дают некоторым участникам эксперимента таблетки-пустышки.

Итак, организовав определенным образом свое исследование, продавцы пищевых добавок и натуропаты могут исказить данные в своих целях. В целом испытания, финансируемые производителями различных товаров, вчетверо более вероятно дают положительный результат, чем независимые испытания.

4. Изучите статистику

Основные возможности для манипулирования людьми при предоставлении им какой-либо информации, кроются в работе со статическими данными. Цифры всегда выглядят убедительно, и далеко не все могут сразу заметить, что их зачастую подтасовывают. Нередко бывает так, что отрицательные результаты, которые не нравятся заказчикам исследований, просто исчезают.

Есть такое понятие «нормальное распределение». Если представить распределение в виде графика, получится что-то вроде перевернутой параболы с хвостами по бокам, которые стремятся к нулю. Хвосты – это ложноположительные или ложноотрицательные результаты. Основная часть графика – это истинные результаты. Но не все результаты должны быть положительными. Как правило, хоть какие-то из них оказываются отрицательными, а если их нет, это повод задуматься, все ли данные раскрыты.

Например, есть препарат ребоксетин – антидепрессант, популярный во многих странах. Все обнародованные результаты испытаний этого препарата, были положительными и казались хорошо проведёнными, однако не всем пациентам он помогал, а у некоторых наблюдались различные побочные эффекты, о которых производители умалчивали.

«В исследованиях я не нашёл ни одного изъяна. К сожалению, оказалось, что многие результаты были изъяты, а именно, 76% всех испытаний этого препарата держались в тайне от врачей и пациентов. Теперь, представьте себе, если бы я подбросил монету сто раз и имел бы возможность скрыть от вас половину результатов, я смог бы убедить вас, что у монеты с обеих сторон «орёл». Если убрать половину данных, мы никогда не узнаем истинную величину эффекта этих лекарств», – говорит Голдакр.

Весь ужас заключается в том, что такая ситуация сложилась не вокруг одного-двух препаратов. В Nordic Cochrane Group – международной некоммерческой группе, где занимаются систематическим анализом всех когда-либо опубликованных данных исследований – пытались получить скрытые данные об испытаниях. Однако это не удавалось сделать в течение трех лет, потому что Европейское агентство по лекарственным препаратам, а также компании-прозиводители скрывали от них данные. И это этическая проблема, у которой пока нет решения. И именно поэтому так важно уметь критически воспринимать информацию, которую нам подают под видом научных исследований.

Видео выступления Бена Голдакра