Что означает статистическая значимость

Короткая версия

Во многих областях, особенно в физике и астрономии, сигма измеряет, насколько далеко наблюдаемый сигнал отстоит от шума или фона, которые ожидали исследователи.

• Низкая сигма означает, что сигнал недалёк от обычного шума.
• Более высокая сигма означает, что сигнал труднее объяснить случайной флуктуацией.
• 5 сигма — это очень сильный общепринятый порог: в рамках используемой статистической модели случайная флуктуация такой величины была бы очень редкой.

Последняя фраза важна: в рамках используемой статистической модели. На сигнал с высокой сигмой всё ещё могут влиять калибровка, загрязнение переднего плана, выбор модели, эффекты отбора или неверная физическая интерпретация. Сигма помогает ответить на вопрос «здесь, вероятно, что-то есть?». Она не отвечает на вопрос «что это?».

Сначала шум

Представьте, что вы снимаете тёмное небо. Даже если реального источника нет, изображение не будет идеально пустым. У детекторов есть шум. У неба есть фон. Обработка данных оставляет мелкие колебания. Если измерить достаточно много пустых участков, некоторые из них случайно окажутся чуть ярче.

Поэтому первая задача — не спрашивать, интересно ли яркое пятно. Она в том, чтобы понять, как выглядит обычное пустое небо. Исследователи оценивают этот фон, измеряют, насколько он изменчив, а затем спрашивают, насколько кандидатный сигнал поднимается над ним.

Именно это расстояние и считает сигма.

Что измеряет сигма

Одна сигма — это одно стандартное отклонение: одна типичная единица разброса в шуме. Сигнал в 5σ отстоит на пять таких единиц от ожидаемого фона.

Точная вероятность зависит от предположений о шуме и от того, односторонний тест или двусторонний, но практическое прочтение достаточно простое: сигнал в 5σ — не случайный бугорок. Если модель фона верна, один лишь шум почти никогда не должен давать нечто настолько экстремальное.

Вот почему в статье могут написать, что источник обнаружен на уровне 5,2–5,3σ. Это означает, что измеренный сигнал примерно на пять стандартных отклонений выше того, что авторы ожидают от флуктуаций фона. Это не означает, что с вероятностью 99,9999 % объяснение авторов верно. Это и есть распространённая ошибка.

Что говорит доверительный интервал

В других областях вместо сигмы часто сообщают доверительный интервал. Фраза вроде «бета = 0,66, 95-процентный доверительный интервал от 0,35 до 0,97» даёт и оценку эффекта, и диапазон значений, совместимых с данными в рамках используемой модели.

Быстрое прочтение таково: лучшая оценка авторов — 0,66, но данные всё ещё согласуются с эффектами величиной хоть 0,35, хоть 0,97. Если 95-процентный доверительный интервал для эффекта целиком остаётся выше нуля, как здесь, это свидетельство того, что эффект в этой модели положителен. Это не означает, что у истинного эффекта есть 95-процентная вероятность оказаться внутри именно этого интервала, и это не доказывает, что результат важен на практике. Он говорит о том, насколько точна оценка.

Почему пять сигма стали чертой

Разные области используют разные соглашения. В физике частиц и значительной части астрономии 3σ часто читаются как свидетельство: интересно, заслуживает внимания, но само по себе недостаточно. Результат в 5σ часто рассматривают как обнаружение, достаточно сильное, чтобы считаться открытием.

Высокая планка существует по грубой причине: учёные разглядывают множество зашумлённых вещей. Если обыскать достаточно мест, что-нибудь рано или поздно случайно покажется необычным. Более строгий порог снижает риск отпраздновать случайный бугорок.

Порог — это соглашение, а не закон природы. Результат в 4,9σ не бесполезен; результат в 5,1σ не обладает магической неуязвимостью к ошибке. Это число — инструмент дисциплины, а не таинство. У статистики и без того довольно облачений.

Локальная против глобальной

Есть ещё одна ловушка: а где именно вы искали?

Если исследователи проверяют одно заранее заданное место — одну длину волны, одну позицию, одну форму сигнала, — то сигму можно прочитать как локальную значимость: насколько удивителен сигнал именно в этом месте.

Но если они просматривают тысячи мест, много длин волн, много разрезов данных или много возможных форм сигнала, вопрос меняется. Где-нибудь в таком поиске шум с большей вероятностью породит случайную удачу. После того как учтены все эти возможности ошибиться — принять случайный всплеск за настоящий сигнал, — у результата может оказаться более низкая глобальная значимость.

Это эффект «поиска в другом месте» (look-elsewhere effect). Это не формальность. Это разница между «я нашёл странную отметину ровно там, где сказал, что буду смотреть» и «я обыскал всю стену, пока одно пятно не стало похоже на лицо».

Что сигма не доказывает

Обнаружение с высокой сигмой может быть реальным и всё же быть неверно прочитанным.

Оно может показать, что в данных есть сигнал, но оставить открытым:

• исходит ли сигнал от того объекта, о котором думают авторы;
• не замешан ли источник переднего плана или загрязнитель;
• полностью ли под контролем калибровка прибора;
• была ли модель фона правильной;
• единственна ли физическая интерпретация.

Вот почему аккуратные статьи делают больше, чем просто приводят сигму. Они проверяют пустые области неба. Они ищут посторонние источники переднего плана. Они сравнивают приборы или фильтры. Они спрашивают, появляется ли тот же результат при других предположениях. Сигма — это вступительный экзамен. Это не весь диплом.

Как читать утверждение в сигмах

Когда статья говорит, что результат составляет 5σ, читайте это как сильное утверждение о данных, а не как окончательный вердикт по всей истории.

Задайте четыре вопроса:

1. Какова модель шума? Что авторы считали обычным фоном?
2. Тест был локальным или глобальным? Смотрели ли они в одно место или обыскали многие?
3. Какие проверки исключают загрязнение или артефакты? Одно высокое число само по себе этого не сделает.
4. Какая интерпретация привязывается к сигналу? Обнаружение и объяснение — это разные шаги.

Если эти ответы хороши, результат с высокой сигмой заслуживает доверия. Если их нет, число всё ещё может впечатлять — но оно выполняет больше работы, чем должно.