Разгром астрологов: статистика против заявлений

Вы наверняка часто слышали от астрологов, что по их собственным подсчетам точность их прогноза доходит до 70-80%. Это означает, что в 7-8 случаях из 10 астрологи дают безошибочный прогноз.

Но так ли это на самом деле?

Давайте разберемся.

Манипуляции с цифрами

Часто астрологи осознанно скрывают неудачные прогнозы, чтобы показать лучшие результаты.

Например, в книге известного хорарного астролога, посвященной спортивным хорарам, автор собрал несколько десятков успешных показательных примеров точного прогноза.

Однако он умолчал, что применение техник, которым он обучает в книге, дает столько же ошибочных результатов, сколько и удачных. Но эта правда повлияла бы на продажи книги.

Часто астрологи значительно преувеличивают свои достижения. Например, астролог сделал 10 прогнозов, но лишь 4 клиента сообщили о результате. В трех из четырех случаев астролог оказался прав. У астролога создалось ощущение, что он был прав в 75% случаев.

Но так ли это? А что насчет тех 6 прогнозов, о результатах которых астролог так и не узнает? Ведь не каждый клиент рассказывает астрологу о том, сбылся или нет его прогноз. А что если остальные 6 случаев были ошибочными, и клиенты предпочли просто не расстраивать астролога?

Тогда в реальности астролог оказался прав в 3 случае из 10, а это уже ничем не лучше (а даже хуже), чем простое подбрасывание монетки.

Неверная выборка

Итак, основная проблема с астрологами заключается в том, что для подсчета точности своих прогнозов они используют только ту информацию, которую слышат от клиентов.

Далеко не каждый клиент дает обратную связь о результате прогноза. И вполне может оказаться, что клиенты стремятся поделиться с астрологом успешными результатами и умолчать о неуспехах.

Это означало бы, что статистическая выборка (то есть набор прогнозов с известными результатами) содержит неравномерное распределение результатов. А значит и заявленная астрологами точность может оказаться просто фикцией, пустым звуком.

Математическая статистика приходит на помощь

Сколько мне известно, мало кто пытался когда-либо провести независимую статистическую оценку той выборки, с которой работает астролог.

В этой статье я приведу аккуратный математический анализ реальной ситуацией и покажу, есть ли отличия между тем, что замеряют (и заявляют) астрологи о своей точности и реальным положением вещей.

Короче говоря, мы математически протестируем прогностическую астрологию и попросту разберемся, работает она или нет.

Суть эксперимента

Для того, чтобы оценить реальную точность прогноза, мы отправили приглашение принять участие в опросе тем, кто хотя бы раз обращался к астрологу, принять участие в опросе.

На приглашение откликнулись 143 респондента - случайные люди разного возраста из разных городов.

Им предложили оценить от 0 до 100% вероятность того, что они сообщат астрологу результаты его прогноза в случае неудачи и в случае успеха.

Вот какие данные мы получили для анализа:

Готовность сообщить астрологу о несбывшимся прогнозе

Эти данные удобно представить в виде plotbpx картинки.

Эту картинку надо читать так:

1. 50% респондентов готовы сообщить астрологу о результате в случае неудачного прогноза с вероятностью от 3 до 61%. Серый прямоугольник содержит в себе половину всех ответов, его длина называется интерквартильным размахом.
2. Большая часть голосов сосредоточена вокруг 12%, эта величина называется медианной средней. Иными словами, лишь 12% клиентов готовы озвучить астрологу неудачный исход, в то время как 88% готовы умолчать о несбывшемся прогнозе.
3. Обратите внимание на крестик в районе 100%. Анализ распределения ответов показал, что 23 человека, которые проголосовали за обязательное озвучивание результатов астрологу в случае неверного прогноза, резко выбиваются из статистики. Говоря математически, эти ответы оказались статистическим выбросом по интерквартильному размаху с коэффициентом 1,5.

Переводя на простой русский язык, эти 23 человека, мягко говоря, слукавили, когда заявили о 100% готовности обязательно докладывать астрологу о его неудаче.

Поэтому в реальности, процент клиентов, которые регулярно сообщают астрологу о его провале, менее 12%.

Итак мы видим, что астрологи не получают данные о собственных ошибках.

А что насчет готовности сообщить астрологу о его успехе?

Готовность сообщить астрологу о сбывшемся прогнозе

Опять же, представим результат анализа в виде графической картинки:

Тут мы наблюдаем совсем иную картину:

1. Все респонденты ответили честно (нет статистических выбросов)
2. Половина респондентов готовы регулярно рассказывать астрологу о его успехе с вероятностью от 40 до 100%
3. Средняя медианная вероятность обратной связи о сбывшемся прогнозе составляет 83%

Что же мы имеем?

У нас получается интересная картина - астролог получает обратную связь в случае сбывшегося прогноза в 90% случаев. Но если прогноз не сбылся, в 80% случаев астролог так об этом и не узнает.

Эту картину можно выразить такой наглядной схемой:

Если астролог делает A неудачных и B удачных прогнозов, то он узнает лишь о незначительном проценте неудач (назовем это число A' = 12% * A). И в то же время астролог узнает о почти всех своих сбывшихся прогнозах (назовем это число B' = 83% * B).

Таким образом, даже если число сбывшихся прогнозов равно число несбывшихся (A=B), то в глазах астролога все выглядит иначе (A' существенно меньше B'). Иными словами, реальность астролога сильно искажена смещенной выборкой. И все заявления о том, что астролог - молодец и делает точные прогнозы, не соответствуют действительности.

Каково же реальное расположение дел?

Зададимся вопросом, какова же связь между заявленной (измеренной астрологом) точностью его прогноза (на основе A' и B') и реальной точностью?

Для этого введем важный коэффициент - смещение положительного отзыва. Если разделить найденные выше средние вероятности дать отзыв в случае успеха/неуспеха астролога, то мы получим 83%/12% (приблизительно равно 7). Это значит, что клиент примерно в 7 раз чаще готов рассказать астрологу о его успехе, нежели о несбывшемся прогнозе.

Если обозвать этот коэффициент смещения буквой S (от слова skew, смещение), а заявленную точность астролога буквой P (от слова presicion, точность), то мы получим:

Таким образом, выстраивается интересная таблица:

Это, конечно, полный разнос астрологии

Итак, печальная правда такова.

Каждый, кто занимается натальной астрологией, знает, что лучшая точность прогноза, которой может достичь астролог, - это 70-80%. Эта та точность, которая подлежит измерению на основе обратной связи от клиентов.

Все, что представлено в этой статье - честное непредвзятое математическое исследование. Применяя 70-80% точности по заявлению астрологов, мы получаем, что в действительности, точность астрологического прогноза составляет в лучшем случае 26-37%.

... И это существенно ниже, чем простое подбрасывание монетки.

... И это полностью согласуется с результатами недавнего очередного исследования

А что же с хорарной астрологией?

Те, кто занимается хорарами, знают, что эта дисциплина не в пример лучше и точнее в качестве прогноза. Какова же ситуация с ней?

Передо мной лежит деперсонифицированная выгрузка из астрологической программы "Ольга", где астрологи отмечают свои сбывшиеся и несбывшиеся хорары для поддержания статистики. Далеко не все это делают, но все же, передо мной находится 141 прогноз, с обратной связью, из которых 133 сбылись, а 3 нет, то есть результат замера по смещенной выборке составляет 94%. Это соответствует 70% реальной точности, что гораздо точнее, чем случайное угадывание.

Именно по этой простой причине я продолжаю придерживаться исключительно хорарной практики и на этих же точных методах построен наш новый искусственный интеллект, который делает прогнозы прямо на этом сайте.