«Статистика. Верно, когда много».
И это очень правильная максима. Действительно, если мы имеем дело с неким явлением, для установления которого единичного эксперимента мало, то очень важно рассмотреть достаточно много случаев, когда это явление может проявиться.
Возвращаясь к нашей проверке лекарства от легковерия, важно учитывать, что заполнить волшебную таблицу недостаточно: полученные нами данные (10 %, 90 %) мало что значат сами по себе, а правомерные выводы из них можно делать, только если эти проценты получены от довольно большого количества испытуемых, или, говоря научным языком, из довольно большой выборки.
Представьте, что перед вами мешок с шарами. Вам сообщили, что в мешке лежит 100 шаров, и попросили, не глядя в мешок, но вытаскивая из него шары, определить, какого цвета шары, лежащие в мешке.
Вы вытаскиваете из мешка пять шаров. Все они оказываются черными. Можете ли вы сделать вывод, что все шары в мешке черные?
Наверное, нет.
Хорошо, вы вытаскиваете десять шаров. Все они черные.
Является ли теперь вывод «Все шары в мешке черные» полностью обоснованным?
Чтобы ответить на этот вопрос, давайте конкретизируем ситуацию. Предположим, что в мешке всего десять шаров черные, а остальные 90 – белые. Возможна ли ситуация, когда, вытянув только десять шаров, мы вытянем лишь черные шары?
Конечно, возможна. Поэтому так важно делать статистический вывод. А именно с такого рода выводами мы имеем дело, когда пытаемся выяснить, эффективно ли лекарство, может ли человек, называющий себя предсказателем, на самом деле видеть будущее или помогает ли экстрасенс, если основываемся только на достаточно большом количестве случаев.
Возвращаясь к нашему примеру с мешком, выясним, сколько следует вытянуть шаров, чтобы гарантированно (именно гарантированно) убедиться, что шары в мешке не только черные.
Правильно, нужно вытянуть минимум 11 шаров.
Конечно, в реальной жизни все не так просто, мы не знаем, какие шары в мешке и сколько их, но общий принцип остается тем же: чем больше количество случаев, на основе которых мы делаем вывод, тем лучше.
А теперь вернемся к проверке эффективности лекарств. Допустим, мы проверяли лекарство от легковерия на группе из десяти человек. Предположим, оно помогло только одному из них. Что мы получаем?
Как мы уже знаем, это означает, что лекарство неэффективно. Правильно? Нет, неправильно! Слишком мало человек было в нашей экспериментальной группе.
Допустим теперь, что мы возьмем не десять человек, а 100. В этом случае вполне могло получиться, что лекарство помогло бы уже не одному человеку, а, например, 50. Согласитесь, это совсем другой показатель эффективности.
Более того, возможно, если бы мы проверяли лекарство на группе из 1000 человек, то лекарство помогло бы уже 900 людям, и это тоже уже принципиально иная ситуация.
Но, разумеется, с ростом размера группы, на которой мы проверяем лекарство, возможно и изменение ситуации в противоположную сторону.
Допустим, мы получили показатель эффективности лекарства 90 % в группе из десяти человек, то есть это лекарство «помогло». Но если мы увеличим размер группы до 100 человек, то показатель эффективности, возможно, будет составлять уже лишь 50 %. Ну а в группе из 1000 человек эффективность лекарства упала бы, скажем, до 10 %, то есть это лекарство стоило бы признать неэффективным.
Итак, чем больше человек в группе, на которой мы проверяем лекарство, тем точнее результаты этой проверки, тем большее доверие вызывают эти результаты, а 90 % из десяти человек – это совсем не то же самое, что 90 % из 1000 человек.
И вот вам простейшее задание на закрепление этого очень важного материала.
Будете ли вы верить следующему рекламному объявлению:
«90 % стоматологов рекомендуют пасту“ КуллДейт”»,
если всего опрошено десять стоматологов?
Конечно, доверять подобному рекламному объявлению, мягко говоря, не стоит. А всякий раз, как вам говорят о процентах, необходимо уточнять, из каких чисел получены эти проценты. Повторю, что 10 % от десяти – это совсем не то же самое, что 10 % от 1000.
Необходимо подчеркнуть, что в реальной жизни, когда, например, нам нужно оценить эффективность какого-нибудь чудодейственного средства, широко рекламируемого по ТВ, мы просто не имеем доступа к такому количеству случаев применения этого лекарства, на котором можно делать заслуживающие доверия выводы…
Пойди туда, не знаю куда…
При заполнении волшебной таблицы у нас не было проблем с определением того, принимает человек лекарство или не принимает, но вот как определить, избавился он от легковерия или нет? Возможно, нужно придумать специальный тест на легковерие?
В целом, я думаю, слово «легковерие» – слишком многозначное и абстрактное, чтобы можно было четко определить степень легковерия конкретного человека. Понятно, что таких расплывчатых понятий при проверке эффективности не только лекарств, но и чего бы то ни было стоит бояться как огня.
В медицине с этим вроде как нет проблем: каждая болезнь имеет четкие диагностические признаки, а наличие болезни твердо устанавливается с помощью различных диагностических процедур и диагностических приборов. Так ведь? Так, да не так…
А что делать, если создатель лекарства утверждает, что оно помогает от множества заболеваний?
Проверять его действенность в отношении каждого заболевания отдельно.
В любом случае, если в качестве эффекта от лекарства приводится нечто абстрактное и многозначное типа «оздоровления организма», «улучшения самочувствия» или «гармонизации энергетики», стоит насторожиться: слишком широк спектр изменений, которые можно будет интерпретировать как доказательство эффективности лекарства.
Детально эти вопросы разбираются в главе 4 «Ловушки языка».
Поймать за руку
Итак, помимо случаев, подтверждающих эффективность, действенность, полезность (лекарства, рецепта, совета, методики), нужно еще рассматривать случаи, опровергающие их. Причем необходимо рассмотреть достаточно много случаев, чтобы вывод был обоснованным.
Но, как говорится, и это еще не все! На самом деле речь идет не только о том, чтобы проверить действенность лекарства множество раз, но и о том, чтобы создать контролируемые условия такой проверки.
Но что такое контролируемые условия и зачем они нужны?
Допустим, мы проверяем эффективность лекарства от гастрита. Мы собираем достаточное количество людей, больных гастритом. Обязательно проводим диагностику – делаем им гастроскопию. Затем мы случайным образом делим этих людей на две группы – экспериментальную и контрольную.
Экспериментальной группе мы даем лекарство и объясняем, как его принимать (предположим, три раза в день во время еды).
Контрольной группе мы лекарство не даем.
Допустим, проверка эффективности лекарства от гастрита будет длиться один месяц. Соответственно через месяц мы проверяем, в каком состоянии гастрит у наших испытуемых, опять-таки с помощью гастроскопии.
Подчеркну, что в нашем исследовании испытуемые целый месяц предоставлены сами себе и мы никак не контролируем, что с ними происходит.
Теперь допустим, что мы провели это исследование и выяснили, что проверяемое лекарство неэффективно: мы сделали всем испытуемым гастроскопию и увидели, что состояние их желудков не улучшилось, гастрит не исчез.
Будет ли в этом случае обоснованным наш вывод о неэффективности лекарства?
Нет, не будет, поскольку мы не знаем, что происходило с испытуемыми в