Оценка значимости результата

Чтобы измерить результаты опытов, парапсихологи используют простое статистическое понятие вероятностного среднего (точный термин – «математическое ожидание», но здесь мы используем более привычное «среднее»). Оно является оценкой, какое число успехов в опыте можно считать исключительно благодаря случаю, без какого-либо участия СВ.

В науке есть несколько произвольные, но общепринятые правила, в соответствии с которыми решают, что экспериментальный результат получен не только благодаря законам случая. В общепринятых науках это следующее правило. Если исследователь получает экспериментальный результат, настолько отличающийся от среднего, что его можно ожидать лишь в одном опыте из 20 таких же или даже реже, то он признает, что результат не случаен. Что-то другое имеет место. Честно говоря, нет особых логических или эмпирических причин для такого критерия; это просто общепринятая договоренность. Таким образом, чем меньше вероятность получения результата случайно, тем выше его достоверность и тем более уверен в нем экспериментатор. Это наиболее важный принцип.

Айзенк Г. Психология паранормального. М.: Изд-во Эксмо, 2005. 640 с. С. 33-34.

По Айзенку:

р=0,05 - незначительный результат / пси-эффект

р=0,01 - хороший результат / пси-эффект

р=0,001 - превосходный результат / пси-эффект

Ошибка I рода: ошибочный вывод о том, что результат не случаен, а имеет конкретную причину.

Ошибка II рода: ошибочный вывод о том, что реальный неслучайный эффект – всего лишь результат случайности.

Процедура сверки с реальностью для выявления ошибок I рода

 

Пусть ученый проводит эксперимент с целью определить, стоит ли за неким явлением – скажем, необычайной способностью выигрывать в лотерею, читать мысли или предсказывать результаты выборов – какая-то конкретная причина или это чистая случайность. Пусть далее наш ученый получит подряд несколько позитивных результатов. В конце концов игрок в покер может иногда получить удачные карты, в этом нет ничего таинственного. Да и в лоторею люди иногда выигрывают.

 

К счастью, существуют статистические процедуры для оценки вероятности ошибки I рода. К примеру, мы считаем, что выигрыши в лотерее распределяются совершенно случайно и честно, так что выигрыш каждого человека зависит исключительно от удачи. При этом некоторым людям все же выпадают выигрыши. Если выигрышей больше, чем можно было бы ожидать, мы можем заподозрить, что лотерея работает не совсем случайно. Возможно, кто-нибудь жульничает или здесь работают паранормальные силы. Чтобы разобраться в происходящем, статистики вычисляют, сколько выигрышных билетиков должно быть предъявлено, чтобы мы сделали вывод о том, что происходит нечто странное. Может быть, по законам случайности на один миллион участников должно приходиться 10, 100 или даже 1000 выигрышей. Любое число превышающее 10, 100 или 1000, вызовет подозрения. Но как выбрать допустимое число выигрышей? Все зависит от того, чем вы готовы рискнуть. Насколько вы боитесь совершить ошибку I рода.

 

«Уровень риска» совершения ошибки I рода называется α-уровнем. Традиционно многие ученые ориентируются на α-уровень 5% (0,05), но иногда используют и другие уровни (1% (0,01) и 0,1% (0,001)). Так, α-уровень 5% означает, что лотерея становится по-настоящему подозрительной. Если же уровень уверенности не превышает 5%, т.е. вероятность ошибки не превышает 1/20. Иногда уровень вероятности для краткости называют р-величиной.

 

Ученые говорят о «статистической значимости» явления, если полученная в ходе эксперимента р-величина не превышает принятого в эксперименте уровня значимости (α-уровня). Утверждение «Этот результат является статистически значимым, р = 0,02» можно перевести примерно так: «Мы уверены, что этот результат – не просто удача или случайность. Наша статистика показывает, что вероятность ошибки составляет всего 2 шанса из 100, а это лучше, чем уровень 5/100, принятый большинством ученых».

 

Способ, при помощи которого вычисляется α-уровень для статистических данных, останется за пределами этой книги. Однако заметим, что эта задача может оказаться весьма сложной. К примеру, многократное повторение одного и того же эксперимента может создавать совершено особую проблему, о которой иногда забывают исследователи паранормального. Любой эксперимент сам по себе напоминает бросание монетки. Со временем при многократном повторении вы можете по чистой случайности получить желаемый результат. В гипотетическом исследовании предсказаний экстрасенсов и обычных людей некоторые участники (как экстрасенсы, так и неэкстрасенсы), вполне возможно, сделали удачное предсказание случайно. Мы уже объяснили, что статистики умеют оценивать уровень вероятности и учитывать его при обработке результатов. Точно так же, если повторить этот эксперимент сотни раз, исследуя каждый раз по 50 экстрасенсов и неэкстрасенсов, в некоторых случаях доля успешных предсказаний у неэкстрасенсов обязательно окажется выше – по чистой случайности. Минимум, что вы должны сделать, - это изменить α-уровень так, чтобы учесть возросший риск ложноположительного решения.

 

Исследователи, которые многократно повторяют один и тот же эксперимент (или учитывают большое количество параметров в одном эксперименте), вынуждены принимать дополнительные меры, чтобы исключить ложноположительное решение. Некоторые из них пользуются тестом, придуманным Карло Эмилио Бонферрони (Bonferroni), и делят α-уровень (0,05 или 0,01) на число экспериментов (или параметров), чтобы скомпенсировать тем самым возросшую вероятность ошибочного результата. Новый α-уровень отражает более жесткие критерии, при помощи которых придется в этом случае оценивать достоверность проведенного исследования. Ведь, если провести аналогию с бросанием костей, вы увеличиваете вероятность выигрыша за счет большого количества бросков. К примеру, если вы провели 100 экспериментов по экстрасенсорному предсказанию будущего (или один эксперимент, в котором попросили участников предсказать поведение 100 отдельных групп объектов, таких как спортивные матчи, номера лотерейных билетов, природные события и т.д.), то новый α-уровень у вас будет 0,0005 (0,05/100). Таким образом, если после статистической обработки результатов вашего исследования окажется, что уровень достоверности составляет всего 0,05. В данном случае это будет означать, что значимых результатов вам получить не удалось.

 

Возможно, вы плохо разбираетесь в статистике и с трудом понимаете, о чем идет речь. Тем не менее Бонферрони снабдил нас очень удобным инструментом оценки, пользоваться которым совсем не трудно. При помощи этого инструмента вы всегда можете понять, не возбуждают ли результаты того или иного исследования ложных надежд. Сосчитайте число экспериментов, о которых идет речь. Или число «исходящих» переменных, которые подвергались исследованию. Разделите 0,05 на число экспериментов или переменных и получите новое пороговое значение. Уровень достоверности исследования, о котором идет речь, должен быть не выше этого значения (т.е. меньше или равен ему). Только тогда вы можете быть уверены в значимости полученных результатов.

Смит Дж. Псевдонаука и паранормальные явления: Критический взгляд / Пер. с англ. М.: Альпина нон-фикшн, 2011. 566 с. С. 206-210.