Што азначае статыстычная значнасць

Кароткая версія

У многіх галінах, асабліва ў фізіцы і астраноміі, сігма вымярае, наколькі далёка назіраны сігнал адстаіць ад шуму ці фону, якія чакалі даследчыкі.

• Нізкая сігма азначае, што сігнал недалёкі ад звычайнага шуму.
• Вышэйшая сігма азначае, што сігнал цяжэй растлумачыць выпадковай флуктуацыяй.
• 5 сігма — гэта вельмі моцны агульнапрыняты парог: у межах выкарыстанай статыстычнай мадэлі выпадковая флуктуацыя такой велічыні была б вельмі рэдкай.

Апошняя фраза важная: у межах выкарыстанай статыстычнай мадэлі. На сігнал з высокай сігмай усё яшчэ могуць уплываць каліброўка, забруджванне пярэдняга плану, выбар мадэлі, эфекты адбору ці памылковая фізічная інтэрпрэтацыя. Сігма дапамагае адказаць на пытанне «тут, імаверна, нешта ёсць?». Яна не адказвае на пытанне «што гэта?».

Спачатку шум

Уявіце, што вы здымаеце цёмнае неба. Нават калі рэальнай крыніцы няма, выява не будзе ідэальна пустой. У дэтэктараў ёсць шум. У неба ёсць фон. Апрацоўка дадзеных пакідае дробныя ваганні. Калі вымераць дастаткова многа пустых участкаў, некаторыя з іх выпадкова акажуцца крыху ярчэйшымі.

Таму першая задача — не пытацца, ці цікавая яркая пляма. Яна ў тым, каб зразумець, які выгляд мае звычайнае пустое неба. Даследчыкі ацэньваюць гэты фон, вымяраюць, наколькі ён зменлівы, а потым пытаюцца, наколькі кандыдатны сігнал узнімаецца над ім.

Менавіта гэтую адлегласць і лічыць сігма.

Што вымярае сігма

Адна сігма — гэта адно стандартнае адхіленне: адна тыповая адзінка разбросу ў шуме. Сігнал у 5σ адстаіць на пяць такіх адзінак ад чаканага фону.

Дакладная імавернасць залежыць ад дапушчэнняў пра шум і ад таго, аднабаковы тэст ці двухбаковы, але практычнае прачытанне досыць простае: сігнал у 5σ — не выпадковы горбік. Калі мадэль фону правільная, сам толькі шум амаль ніколі не мусіць даваць нешта настолькі экстрэмальнае.

Вось чаму ў артыкуле могуць напісаць, што крыніца выяўлена на ўзроўні 5,2–5,3σ. Гэта азначае, што вымераны сігнал прыблізна на пяць стандартных адхіленняў вышэйшы за тое, што аўтары чакаюць ад флуктуацый фону. Гэта не азначае, што з імавернасцю 99,9999 % тлумачэнне аўтараў правільнае. Гэта і ёсць распаўсюджаная памылка.

Што кажа даверчы інтэрвал

У іншых галінах замест сігмы часта паведамляюць даверчы інтэрвал. Фраза накшталт «бета = 0,66, 95-працэнтны даверчы інтэрвал ад 0,35 да 0,97» дае і ацэнку эфекту, і дыяпазон значэнняў, сумяшчальных з дадзенымі ў межах выкарыстанай мадэлі.

Хуткае прачытанне такое: найлепшая ацэнка аўтараў — 0,66, але дадзеныя ўсё яшчэ ўзгадняюцца з эфектамі велічынёй хоць 0,35, хоць 0,97. Калі 95-працэнтны даверчы інтэрвал для эфекту цалкам застаецца вышэй за нуль, як тут, гэта сведчанне таго, што эфект у гэтай мадэлі дадатны. Гэта не азначае, што ў сапраўднага эфекту ёсць 95-працэнтная імавернасць апынуцца ўнутры менавіта гэтага інтэрвалу, і гэта не даказвае, што вынік важны на практыцы. Ён кажа, наколькі дакладная ацэнка.

Чаму пяць сігма сталі мяжой

Розныя галіны выкарыстоўваюць розныя дамоўленасці. У фізіцы часціц і значнай частцы астраноміі 3σ часта чытаюцца як сведчанне: цікава, вартае ўвагі, але само па сабе недастатковае. Вынік у 5σ часта разглядаюць як выяўленне, дастаткова моцнае, каб лічыцца адкрыццём.

Высокая планка існуе з грубай прычыны: навукоўцы разглядаюць мноства зашумленых рэчаў. Калі абшукаць дастаткова месцаў, нешта рана ці позна выпадкова падасца незвычайным. Больш строгі парог зніжае рызыку адсвяткаваць выпадковы горбік.

Парог — гэта дамоўленасць, а не закон прыроды. Вынік у 4,9σ не бескарысны; вынік у 5,1σ не мае магічнай непаражальнасці да памылкі. Гэты лік — інструмент дысцыпліны, а не таінства. У статыстыкі і без таго досыць шатаў.

Лакальная супраць глабальнай

Ёсць яшчэ адна пастка: а дзе менавіта вы шукалі?

Калі даследчыкі правяраюць адно загадзя зададзенае месца — адну даўжыню хвалі, адну пазіцыю, адну форму сігналу, — то сігму можна прачытаць як лакальную значнасць: наколькі дзіўны сігнал менавіта ў гэтым месцы.

Але калі яны праглядаюць тысячы месцаў, многа даўжынь хваль, многа зрэзаў дадзеных ці многа магчымых формаў сігналу, пытанне мяняецца. Дзесьці ў такім пошуку шум з большай імавернасцю спародзіць выпадковую ўдачу. Пасля таго як улічаны ўсе гэтыя магчымасці памыліцца — прыняць выпадковы ўсплёск за сапраўдны сігнал, — вынік можа мець ніжэйшую глабальную значнасць.

Гэта эфект «пошуку ў іншым месцы» (look-elsewhere effect). Гэта не фармальнасць. Гэта розніца паміж «я знайшоў дзіўную адзнаку роўна там, дзе сказаў, што буду шукаць» і «я абшукаў усю сцяну, пакуль адна пляма не стала падобная на твар».

Што сігма не даказвае

Выяўленне з высокай сігмай можа быць рэальным і ўсё ж быць няправільна прачытаным.

Яно можа паказаць, што ў дадзеных ёсць сігнал, але пакінуць адкрытым:

• ці зыходзіць сігнал ад таго аб’екта, пра які думаюць аўтары;
• ці не замешана крыніца пярэдняга плану або забруджвальнік;
• ці цалкам пад кантролем каліброўка прыбора;
• ці была мадэль фону правільнай;
• ці адзіная фізічная інтэрпрэтацыя.

Вось чаму старанныя артыкулы робяць больш, чым проста прыводзяць сігму. Яны правяраюць пустыя вобласці неба. Яны шукаюць староннія крыніцы пярэдняга плану. Яны параўноўваюць прыборы ці фільтры. Яны пытаюцца, ці з’яўляецца той самы вынік пры іншых дапушчэннях. Сігма — гэта ўступны экзамен. Гэта не ўвесь дыплом.

Як чытаць сцвярджэнне ў сігмах

Калі артыкул кажа, што вынік складае 5σ, чытайце гэта як моцнае сцвярджэнне пра дадзеныя, а не як канчатковы вырак па ўсёй гісторыі.

Задайце чатыры пытанні:

1. Якая мадэль шуму? Што аўтары лічылі звычайным фонам?
2. Тэст быў лакальным ці глабальным? Глядзелі яны ў адно месца ці абшукалі многія?
3. Якія праверкі выключаюць забруджванне або артэфакты? Адзін высокі лік сам па сабе гэтага не зробіць.
4. Якая інтэрпрэтацыя прывязваецца да сігналу? Выяўленне і тлумачэнне — гэта розныя крокі.

Калі гэтыя адказы добрыя, вынік з высокай сігмай заслугоўвае даверу. Калі іх няма, лік усё яшчэ можа ўражваць — але ён выконвае больш работы, чым мусіў бы.