"Ловушки Сознания": как исследователи обманывают себя.

Люди удивительно хорошо умеют обманывать самих себя, поэтому исследователям часто не удается воспроизвести результаты проведенных экспериментов. Об этой достаточно крупной проблеме в науке говорить не принято.

Даже самый честный человек - мастер самообмана. Мы умеем быстро выделять аномальные результаты, однако часто принимаем на веру все, как нам кажется, "Логичные" выводы. Таким образом, мы бессознательно уходим от реальности.

В 2015 году была предпринята попытка повторить результаты ста психологических исследований, однако сделать это удалось лишь в трех случаях из десяти.

В 2012 году ученые из биотехнологической фирмы Amgen в таузенд - оукс, Калифорния, сообщили, что им удалось воспроизвести результаты лишь шести исследований в области онкологии и гематологии из пятидесяти трёх.

"Возникновение Подобных Кризисных Ситуаций - это наш Шанс Улучшить Научный Инструментарий", - говорит Роберт маккоун, социолог из стэнфорда. Такое уже случалось раньше.

Еще в середине ХХ века ученые обнаружили, что экспериментаторы и испытуемые часто бессознательно меняли свое поведение, чтобы "Подогнать" результаты исследования под свои ожидания. Именно это открытие причиной появления двойного слепого метода исследования стало.

По этой причине исследователи придумывают самые разнообразные способы исключения ошибок при анализе данных: стратегии, которые включают сотрудничество с соперниками (противниками теории, к примеру) и анализ "Поддельных" данных.

Проблема.

Бытует мнение, что следует допускать в публикацию только исследования со статистически значимыми результатами, то есть результатами, p - значение которых равняется 0, 05 или меньше. Сложности в первую очередь возникают при анализе больших наборов многомерных данных, где невероятно трудно отделить значимые данные от случайного "Шума".

"С Такими Объемами Данных не Всегда Справляются Даже Статистические Методы, что уж Говорить про Человеческий Мозг", - говорит кит баггерли, статистик онкологического центра им. М. д. Андерсона в техасском университете.

Эндрю кинг, специалист в области управления из дартмутского колледжа в Ганновере, нью-гемпшир, говорит, что благодаря широкому распространению специализированного программного обеспечения, исследователям стало проще проверять огромные наборы данных (при этом им не обязательно полностью понимать суть используемых методов) и получать маленькие p - значения (которые могут оказаться бесполезными в рамках конкретного исследования.

"Здесь все как в Спорте, - Говорит Хэл Пашлер, Психолог из Калифорнийского Университета в Сан - Диего, - мы Гонимся за Лучшим Результатом".

Ограниченность гипотез.

Одной из ловушек, поджидающих на ранних стадиях исследования, является пренебрежение контраргументами и другими объяснениями, которые противоречат изначальной гипотезе. "Как Правило, Если Человек Хочет Подтвердить Свою Точку Зрения, то Формулирует Вопросы так, Чтобы Получить Заведомо Утвердительный Ответ", - говорит Джонатан барон, психолог из пенсильванского университета в филадельфии.

Такие ситуации не редкость в судах. В 1999 году в Британии женщина по имени Салли Кларк была признана виновной в убийстве двух своих сыновей - младенцев. Приговор был вынесен на основании статистических данных, согласно которым шанс смерти двух детей от синдрома внезапной детской смерти (СВДС) составлял всего 1 на 73 млн - этот факт был принят как изобличающее доказательство.

Математик Рэй хилл позже подсчитал, что двойная смерть от СВДС происходит примерно в 1 семье из 297 000, в то время как двойное убийство детей родителями - примерно в 1 семье из 2, 7 млн. Отношение 9 к 1 против убийства. В 2003 году приговор Салли Кларк был отменен на основании новых доказательств.

Ошибка техасского снайпера.

Есть еще одна ловушка, в которую можно попасть в ходе анализа данных. Она объясняется в старом американском анекдоте про техасского снайпера, неумелого стрелка, который сперва стрелял в стену сарая и только потом рисовал мишень с центром вокруг крупнейшего скопления пулевых отверстий.

Психолог Ури симонсон из пенсильванского университета дает точное объяснение этой наивности в своем определении термина "р - Hacking": "проведение манипуляций с информацией до тех пор, пока не будет достигнута статистическая значимость p.