İstatistiksel anlamlılık ne demek

Kısa sürüm

Birçok alanda, özellikle fizik ve astronomide, sigma, gözlenen bir sinyalin, araştırmacıların beklediği gürültüden ya da arka plandan ne kadar uzakta durduğunu ölçer.

• Düşük sigma, sinyalin sıradan gürültüden uzak olmadığı anlamına gelir.
• Daha yüksek sigma, sinyali rastgele bir dalgalanma olarak açıklamanın daha zor olduğu anlamına gelir.
• 5 sigma, çok güçlü, alışılmış bir eşiktir: kullanılan istatistiksel model altında, o büyüklükte rastgele bir dalgalanma çok ender olurdu.

Şu son ifade önemlidir: kullanılan istatistiksel model altında. Yüksek sigmalı bir sinyal yine de kalibrasyondan, ön plan kirlenmesinden, model seçimlerinden, seçim etkilerinden ya da yanlış bir fiziksel yorumdan etkilenebilir. Sigma, “burada muhtemelen bir şey var mı?” sorusunu yanıtlamaya yardım eder. “O nedir?” sorusunu yanıtlamaz.

Önce gürültü

Karanlık bir gökyüzünün resmini çektiğinizi düşünün. Gerçek bir kaynak bulunmasa bile, görüntü tamamen boş değildir. Dedektörlerde gürültü vardır. Gökyüzünde arka plan vardır. Veri işleme küçük kıvrımlar bırakır. Yeterince boş yamayı ölçerseniz, bazıları sırf rastlantı sonucu biraz parlak görünür.

Yani ilk iş, parlak bir noktanın heyecan verici olup olmadığını sormak değildir. Sıradan boş gökyüzünün nasıl göründüğünü sormaktır. Araştırmacılar o arka planı tahmin eder, ne kadar değiştiğini ölçer ve sonra aday sinyalin onun üzerine ne kadar yükseldiğini sorar.

İşte sigmanın saydığı şey, o uzaklıktır.

Sigma neyi ölçer

Bir sigma, bir standart sapmadır: gürültüdeki tipik bir değişim birimi. 5σ’lık bir sinyal, o birimlerden beşi kadar, beklenen arka plandan uzaktadır.

Kesin olasılık, gürültüyle ilgili varsayımlara ve testin tek yanlı mı yoksa iki yanlı mı olduğuna bağlıdır, ama pratik okuma yeterince basittir: 5σ’lık bir sinyal, sıradan bir tümsek değildir. Arka plan modeli doğruysa, tek başına gürültü, bu denli uç bir şeyi neredeyse hiç oluşturmamalıdır.

Bir makalenin bir kaynağın 5,2–5,3σ’da saptandığını söylemesinin nedeni budur. Bu, ölçülen sinyalin, yazarların arka plan dalgalanmalarından beklediğinin yaklaşık beş standart sapma üzerinde olduğu anlamına gelir. Yazarların açıklamasının doğru olması için %99,9999 şans olduğu anlamına gelmez. Yaygın hata budur.

Bir güven aralığının söylediği şey

Başka alanlar çoğu kez sigma yerine bir güven aralığı bildirir. “beta = 0,66, %95 güven aralığı 0,35 ile 0,97” gibi bir cümle, hem tahmin edilen bir etkiyi hem de kullanılan model altında verilerle bağdaşan bir değer aralığını verir.

Hızlı okuma şudur: yazarların en iyi tahmini 0,66’dır, ama veriler yine de 0,35 kadar düşük ya da 0,97 kadar yüksek etkilerle tutarlıdır. Bir etki için %95’lik bir güven aralığı, burada olduğu gibi tümüyle sıfırın üzerinde kalıyorsa, bu, etkinin bu modelde pozitif olduğuna dair bir kanıttır. Gerçek etkinin tam da o aralığın içinde olma şansının %95 olduğu anlamına gelmez ve sonucun pratikte önemli olduğunu kanıtlamaz. Tahminin ne kadar kesin olduğunu söyler.

Beş sigma neden bir çizgi oldu

Farklı alanlar farklı gelenekler kullanır. Parçacık fiziğinde ve astronominin çoğunda, 3σ çoğu kez kanıt olarak okunur: ilginç, dikkate değer, tek başına yeterli değil. 5σ’lık bir sonuç ise çoğu kez keşif düzeyinde bir saptama olarak ele alınır.

Yüksek çıta, açık bir nedenle vardır: bilim insanları birçok gürültülü şeye bakar. Yeterince çok yerde ararsanız, eninde sonunda bir şey rastlantı sonucu olağandışı görünür. Daha katı bir eşik, rastgele bir tümseği kutlama riskini azaltır.

Eşik bir gelenektir, doğanın bir yasası değil. 4,9σ’lık bir sonuç değersiz değildir; 5,1σ’lık bir sonuç da hataya sihirli biçimde bağışık değildir. Sayı, disiplin için bir araçtır, bir ayin değil. İstatistiğin zaten yeterince cüppesi var.

Yerel mi, küresel mi

Bir tuzak daha var: nereye baktınız?

Araştırmacılar önceden belirlenmiş tek bir yeri sınarsa — tek bir dalga boyu, tek bir konum, tek bir sinyal biçimi — o zaman sigma bir yerel anlamlılık olarak okunabilir: sinyalin tam da o yerde ne kadar şaşırtıcı olduğu.

Ama binlerce yeri, birçok dalga boyunu, verilerin birçok kesitini ya da olası birçok sinyal biçimini tararlarsa, soru değişir. O aramanın bir yerinde, gürültünün bir tesadüf üretmesi daha olasıdır. Kandırılmaya yönelik bütün o şanslar hesaba katıldıktan sonra, sonucun daha düşük bir küresel anlamlılığı olabilir.

Bu, başka-yere-bakma etkisidir (look-elsewhere effect). Bir ayrıntı değildir. “Bakacağımı söylediğim tam yerde tuhaf bir iz buldum” ile “bir leke bir yüze benzeyene kadar bütün duvarı taradım” arasındaki farktır.

Sigmanın kanıtlamadığı şey

Yüksek sigmalı bir saptama gerçek olabilir ve yine de yanlış okunabilir.

Verilerde bir sinyal olduğunu gösterebilir, ama şunları açık bırakır:

• sinyalin, yazarların düşündüğü nesneden gelip gelmediği;
• bir ön plan kaynağının ya da kirleticinin işin içinde olup olmadığı;
• alet kalibrasyonunun tümüyle denetim altında olup olmadığı;
• arka plan modelinin doğru model olup olmadığı;
• fiziksel yorumun biricik olup olmadığı.

Dikkatli makalelerin sigma söylemekten fazlasını yapmasının nedeni budur. Gökyüzünün boş bölgelerini denetlerler. Ön plandaki davetsiz misafirleri sınarlar. Aletleri ya da filtreleri karşılaştırırlar. Aynı sonucun farklı varsayımlar altında ortaya çıkıp çıkmadığını sorarlar. Sigma, giriş sınavıdır. Bütün bir diploma değildir.

Bir sigma iddiası nasıl okunur

Bir makale bir sonucun 5σ olduğunu söylediğinde, bunu veriler hakkında güçlü bir ifade olarak okuyun, hikâye hakkında nihai bir hüküm olarak değil.

Dört soru sorun:

1. Gürültü modeli nedir? Yazarlar neyi sıradan arka plan saydı?
2. Test yerel mi, küresel mi? Tek bir yere mi baktılar, yoksa birçok yeri mi taradılar?
3. Hangi denetimler kirlenmeyi ya da yapaylıkları dışlıyor? Yüksek bir sayı bunu tek başına yapamaz.
4. Sinyale hangi yorum ekleniyor? Saptama ve açıklama ayrı adımlardır.

Bu yanıtlar iyiyse, yüksek sigmalı bir sonuç güveni hak eder. Eksiklerse, sayı yine de etkileyici olabilir — ama olması gerekenden fazla iş yapıyordur.