Що означає статистична значущість

Коротка версія

У багатьох галузях, особливо у фізиці та астрономії, сигма вимірює, наскільки далеко спостережуваний сигнал відстоїть від шуму чи фону, які очікували дослідники.

• Низька сигма означає, що сигнал недалекий від звичайного шуму.
• Вища сигма означає, що сигнал важче пояснити випадковою флуктуацією.
• 5 сигма — це дуже сильний загальноприйнятий поріг: у межах використаної статистичної моделі випадкова флуктуація такої величини була б дуже рідкісною.

Остання фраза важлива: у межах використаної статистичної моделі. На сигнал із високою сигмою все ще можуть впливати калібрування, забруднення переднього плану, вибір моделі, ефекти відбору чи хибна фізична інтерпретація. Сигма допомагає відповісти на запитання «тут, імовірно, щось є?». Вона не відповідає на запитання «що це?».

Спочатку шум

Уявіть, що ви знімаєте темне небо. Навіть якщо реального джерела немає, зображення не буде ідеально порожнім. У детекторів є шум. У неба є фон. Обробка даних лишає дрібні коливання. Якщо виміряти достатньо багато порожніх ділянок, деякі з них випадково виявляться трохи яскравішими.

Тому перше завдання — не запитувати, чи цікава яскрава пляма. Воно в тому, щоб зрозуміти, який вигляд має звичайне порожнє небо. Дослідники оцінюють цей фон, вимірюють, наскільки він мінливий, а потім запитують, наскільки кандидатний сигнал підноситься над ним.

Саме цю відстань і рахує сигма.

Що вимірює сигма

Одна сигма — це одне стандартне відхилення: одна типова одиниця розкиду в шумі. Сигнал у 5σ відстоїть на п’ять таких одиниць від очікуваного фону.

Точна ймовірність залежить від припущень про шум і від того, односторонній тест чи двосторонній, але практичне прочитання досить просте: сигнал у 5σ — не випадковий горбок. Якщо модель фону правильна, сам лише шум майже ніколи не має давати щось настільки екстремальне.

Ось чому в статті можуть написати, що джерело виявлено на рівні 5,2–5,3σ. Це означає, що виміряний сигнал приблизно на п’ять стандартних відхилень вищий за те, що автори очікують від флуктуацій фону. Це не означає, що з імовірністю 99,9999 % пояснення авторів правильне. Це і є поширена помилка.

Що говорить довірчий інтервал

В інших галузях замість сигми часто повідомляють довірчий інтервал. Фраза на кшталт «бета = 0,66, 95-відсотковий довірчий інтервал від 0,35 до 0,97» дає і оцінку ефекту, і діапазон значень, сумісних із даними в межах використаної моделі.

Швидке прочитання таке: найкраща оцінка авторів — 0,66, але дані все ще узгоджуються з ефектами величиною хоч 0,35, хоч 0,97. Якщо 95-відсотковий довірчий інтервал для ефекту цілком лишається вище нуля, як тут, це свідчення того, що ефект у цій моделі додатний. Це не означає, що в істинного ефекту є 95-відсоткова ймовірність опинитися всередині саме цього інтервалу, і це не доводить, що результат важливий на практиці. Він каже, наскільки точна оцінка.

Чому п’ять сигма стали межею

Різні галузі використовують різні домовленості. У фізиці частинок і значній частині астрономії 3σ часто читаються як свідчення: цікаво, варте уваги, але саме по собі недостатнє. Результат у 5σ часто розглядають як виявлення, достатньо сильне, щоб вважатися відкриттям.

Висока планка існує з грубої причини: науковці розглядають безліч зашумлених речей. Якщо обшукати достатньо місць, щось рано чи пізно випадково видасться незвичним. Суворіший поріг зменшує ризик відсвяткувати випадковий горбок.

Поріг — це домовленість, а не закон природи. Результат у 4,9σ не марний; результат у 5,1σ не має магічної невразливості до помилки. Це число — інструмент дисципліни, а не таїнство. У статистики й без того досить облачень.

Локальна проти глобальної

Є ще одна пастка: а де саме ви шукали?

Якщо дослідники перевіряють одне заздалегідь задане місце — одну довжину хвилі, одну позицію, одну форму сигналу, — то сигму можна прочитати як локальну значущість: наскільки дивний сигнал саме в цьому місці.

Але якщо вони переглядають тисячі місць, багато довжин хвиль, багато розрізів даних чи багато можливих форм сигналу, запитання змінюється. Десь у такому пошуку шум із більшою ймовірністю породить випадкову вдачу. Після того як враховано всі ці можливості помилитися — прийняти випадковий сплеск за справжній сигнал, — результат може мати нижчу глобальну значущість.

Це ефект «пошуку в іншому місці» (look-elsewhere effect). Це не формальність. Це різниця між «я знайшов дивну позначку рівно там, де сказав, що шукатиму» і «я обшукав усю стіну, поки одна пляма не стала схожа на обличчя».

Що сигма не доводить

Виявлення з високою сигмою може бути реальним і все ж бути неправильно прочитаним.

Воно може показати, що в даних є сигнал, але лишити відкритим:

• чи походить сигнал від того об’єкта, про який думають автори;
• чи не замішане джерело переднього плану або забруднювач;
• чи повністю під контролем калібрування приладу;
• чи була модель фону правильною;
• чи єдина фізична інтерпретація.

Ось чому ретельні статті роблять більше, ніж просто наводять сигму. Вони перевіряють порожні ділянки неба. Вони шукають сторонні джерела переднього плану. Вони порівнюють прилади чи фільтри. Вони запитують, чи з’являється той самий результат за інших припущень. Сигма — це вступний іспит. Це не весь диплом.

Як читати твердження в сигмах

Коли стаття каже, що результат становить 5σ, читайте це як сильне твердження про дані, а не як остаточний вирок щодо всієї історії.

Поставте чотири запитання:

1. Яка модель шуму? Що автори вважали звичайним фоном?
2. Тест був локальним чи глобальним? Дивилися вони в одне місце чи обшукали багато?
3. Які перевірки виключають забруднення або артефакти? Одне високе число саме по собі цього не зробить.
4. Яка інтерпретація прив’язується до сигналу? Виявлення і пояснення — це різні кроки.

Якщо ці відповіді добрі, результат із високою сигмою заслуговує довіри. Якщо їх немає, число все ще може вражати — але воно виконує більше роботи, ніж мало б.