Bir P Değeri Neyi Kanıtlamaz?
Bu konuda forumlarda en çok karşılaştığım yanlış yorumlardan bazıları şunlar:
“p<0,05 ise hipotez kesin doğrudur.”
Hayır.
“p>0,05 ise hiçbir fark yoktur.”
Bu da doğru değildir.
“p=0,001 ise sonuç p=0,04'ten kesin olarak daha önemlidir.”
Bunu da yalnızca p değerine bakarak söyleyemeyiz.
ASA'ya göre daha büyük bir p değeri, sıfır hipotezinin doğru olduğunu kanıtlamaz. Benzer şekilde p değerinin küçük olması da araştırılan hipotezin doğru olduğunu göstermez. P değeri tek başına bağlamdan bağımsız bir kanıt ölçüsü olarak kullanılmamalıdır.
Bu ayrım çok önemli.
Çünkü “istatistiksel anlamlılık” ile “gerçek hayattaki anlamlılık” aynı şey değildir.
Bir sonuç istatistiksel olarak dikkat çekici olabilir ama pratik etkisi küçük olabilir.
Tam tersine, önemli olabilecek bir etki küçük örneklem veya yüksek belirsizlik nedeniyle istatistiksel olarak belirginleşmeyebilir.
Erkekler ve Kadınlar Meselesine Geldiğimizde…
Burada küçük bir parantez açmak istiyorum.
Murat'ın çözüm odaklı yaklaşımını “erkeklerin doğası budur”, Elif'in ilişkisel yaklaşımını da “kadınlar böyledir” diye açıklamak kolay olurdu.
Ama bence bu, hikâyenin en önemli dersini kaçırmak olur.
İnsanların problem çözme biçimleri cinsiyetten çok kişisel deneyimleri, eğitimleri, meslekleri, sorumlulukları ve içinde bulundukları koşullarla şekillenebilir.
Murat'ın yıllarca veri analiziyle uğraşması onu daha stratejik düşünmeye itmişti.
Elif'in araştırma katılımcılarıyla yaptığı görüşmeler ise insanların deneyimlerine daha fazla dikkat etmesini sağlamıştı.
İkisi de erkek ya da kadın oldukları için değil, yaşadıkları deneyimler nedeniyle farklı sorular soruyordu.
Bence burada asıl değerli olan da buydu.
Bir problemi yalnızca sayılarla çözmeye çalışırsak insan faktörünü kaçırabiliriz.
Yalnızca hikâyelere bakarsak da ölçümün sağladığı önemli bilgileri gözden kaçırabiliriz.
Bilim bazen bu iki dünyanın aynı masada buluşmasını gerektiriyor.
P Değerinin Toplumsal Hikâyesi
İstatistik zamanla yalnızca akademisyenlerin kullandığı bir araç olmaktan çıktı.
Bugün gazetelerde, sağlık araştırmalarında, eğitim çalışmalarında, ekonomi haberlerinde ve şirket raporlarında p değerleriyle karşılaşıyoruz.
Bu durum bir avantaj sağlıyor: İnsanlar veriye dayalı düşünmeye daha fazla ilgi gösteriyor.
Fakat aynı zamanda bir risk de doğuruyor.
Tek bir rakam, karmaşık bir araştırmanın bütün hikâyesinin yerine geçebiliyor.
Başlık şöyle olabiliyor:
“Yeni araştırma istatistiksel olarak anlamlı sonuç verdi!”
Okuyucu da bunun otomatik olarak “kesin olarak işe yarıyor” anlamına geldiğini düşünebiliyor.
Oysa araştırmanın nasıl tasarlandığı, örneklemin kimlerden oluştuğu, ölçülen etkinin büyüklüğü, belirsizlik düzeyi ve daha önceki çalışmaların ne söylediği de önemlidir.
ASA da bilimsel çıkarımların yalnızca p değerine indirgenmemesi, çalışma tasarımı ve ölçümlerin kalitesi gibi unsurların birlikte değerlendirilmesi gerektiğini vurguluyor.
Bu nedenle bugün bir araştırmada p değerini gördüğümde artık ilk sorum “Kaç?” olmuyor.
“Bu sayı hangi hikâyenin parçası?” diye soruyorum.
P Kaç Olmalı? Kısa Cevap, Uzun Hikâye
Eğer klasik hipotez testlerinden söz ediyorsak, 0,05 birçok alanda yaygın kullanılan bir anlamlılık eşiğidir.
Ancak “p mutlaka 0,05'ten küçük olmalı” demek eksik bir ifadedir.
Bazı araştırmalarda farklı anlamlılık düzeyleri kullanılabilir. Örneğin NIST'in bazı istatistiksel test uygulamalarında 0,01 gibi daha düşük anlamlılık düzeyleri tercih edilebiliyor. Bu da bize tek bir sayının bütün bilimsel sorular için evrensel bir kural olmadığını gösteriyor.
Daha önemlisi, p değerini tek başına yorumlamamak gerekiyor.
Bir sonuç raporunda mümkün olduğunca etki büyüklüğüne, güven aralığına, örneklem büyüklüğüne, kullanılan yönteme ve araştırmanın tasarımına da bakmak gerekiyor.
Yani sorunun daha doğru hâli belki de şu:
“P kaç olmalı?” değil,
“Bu p değeri, bu araştırmanın tasarımı ve bulduğu etki bağlamında ne anlatıyor?”
O Gün Masadan Kalkarken
Akşam olduğunda Murat bilgisayarını kapattı.
“Sonuç p=0,04,” dedi.
Elif gülümsedi.
“Peki?”
Murat bir an durdu.
“Peki ne?”
Elif sandalyesini geriye çekti.
“İnsanlar bununla ne yapacak?”
İkimiz de sustuk.
Çünkü aslında bütün meselenin burada düğümlendiğini fark etmiştik.
İstatistik bize karar vermek için araçlar sunabilir.
Ama rakamların anlamını değerlendirmek hâlâ bizim sorumluluğumuzdur.
P değeri bize belirli bir varsayım altında verinin ne kadar sıra dışı olduğunu anlamada yardımcı olabilir. Fakat tek başına gerçeğin mührü değildir. NIST'in tanımı p değerini belirli bir sıfır hipotezi altında test istatistiğinin gözlenen değer kadar veya daha uç bir değer alma olasılığı olarak çerçeveliyor.
ASA ise p değerlerinin bağlam içinde değerlendirilmesini, sonuçların şeffaf biçimde raporlanmasını ve tek bir istatistiksel ölçünün bilimsel muhakemenin yerini almamasını öneriyor.
O günden sonra “P kaç olmalı?” sorusunu duyduğumda artık sadece bir sayı düşünmüyorum.
Bir araştırmacının emeğini,
bir veri setinin hikâyesini,
bir testin varsayımlarını,
bir sonucun gerçek hayattaki karşılığını
ve en önemlisi, o rakama bakarak vereceğimiz kararın sonuçlarını düşünüyorum.
Belki de iyi istatistik tam olarak budur:
Rakamı bilmek değil, rakamın bize ne söyleyebileceğini ve ne söyleyemeyeceğini bilmek.
Forumda bu konuyu tartışırken benim merak ettiğim asıl soru da şu:
Siz bir araştırmada p=0,03 gördüğünüzde ilk olarak neye bakıyorsunuz?
P değerine mi?
Etki büyüklüğüne mi?
Güven aralığına mı?
Yoksa araştırmanın nasıl yapıldığına mı?
Belki de en iyi cevap, bunlardan yalnızca birini seçmek yerine hepsini aynı masaya oturtmaktır.
Hikâyeyi 1000 kelimenin üstüne çıkarTarihsel arka planı olay örgüsüne yedir
Hikâyeyi 1000 kelimenin üstüne çıkar
Tarihsel arka planı olay örgüsüne yedir
Kaynakçayı okunur biçimde düzenle
Bu konuda forumlarda en çok karşılaştığım yanlış yorumlardan bazıları şunlar:
“p<0,05 ise hipotez kesin doğrudur.”
Hayır.
“p>0,05 ise hiçbir fark yoktur.”
Bu da doğru değildir.
“p=0,001 ise sonuç p=0,04'ten kesin olarak daha önemlidir.”
Bunu da yalnızca p değerine bakarak söyleyemeyiz.
ASA'ya göre daha büyük bir p değeri, sıfır hipotezinin doğru olduğunu kanıtlamaz. Benzer şekilde p değerinin küçük olması da araştırılan hipotezin doğru olduğunu göstermez. P değeri tek başına bağlamdan bağımsız bir kanıt ölçüsü olarak kullanılmamalıdır.
Bu ayrım çok önemli.
Çünkü “istatistiksel anlamlılık” ile “gerçek hayattaki anlamlılık” aynı şey değildir.
Bir sonuç istatistiksel olarak dikkat çekici olabilir ama pratik etkisi küçük olabilir.
Tam tersine, önemli olabilecek bir etki küçük örneklem veya yüksek belirsizlik nedeniyle istatistiksel olarak belirginleşmeyebilir.
Erkekler ve Kadınlar Meselesine Geldiğimizde…
Burada küçük bir parantez açmak istiyorum.
Murat'ın çözüm odaklı yaklaşımını “erkeklerin doğası budur”, Elif'in ilişkisel yaklaşımını da “kadınlar böyledir” diye açıklamak kolay olurdu.
Ama bence bu, hikâyenin en önemli dersini kaçırmak olur.
İnsanların problem çözme biçimleri cinsiyetten çok kişisel deneyimleri, eğitimleri, meslekleri, sorumlulukları ve içinde bulundukları koşullarla şekillenebilir.
Murat'ın yıllarca veri analiziyle uğraşması onu daha stratejik düşünmeye itmişti.
Elif'in araştırma katılımcılarıyla yaptığı görüşmeler ise insanların deneyimlerine daha fazla dikkat etmesini sağlamıştı.
İkisi de erkek ya da kadın oldukları için değil, yaşadıkları deneyimler nedeniyle farklı sorular soruyordu.
Bence burada asıl değerli olan da buydu.
Bir problemi yalnızca sayılarla çözmeye çalışırsak insan faktörünü kaçırabiliriz.
Yalnızca hikâyelere bakarsak da ölçümün sağladığı önemli bilgileri gözden kaçırabiliriz.
Bilim bazen bu iki dünyanın aynı masada buluşmasını gerektiriyor.
P Değerinin Toplumsal Hikâyesi
İstatistik zamanla yalnızca akademisyenlerin kullandığı bir araç olmaktan çıktı.
Bugün gazetelerde, sağlık araştırmalarında, eğitim çalışmalarında, ekonomi haberlerinde ve şirket raporlarında p değerleriyle karşılaşıyoruz.
Bu durum bir avantaj sağlıyor: İnsanlar veriye dayalı düşünmeye daha fazla ilgi gösteriyor.
Fakat aynı zamanda bir risk de doğuruyor.
Tek bir rakam, karmaşık bir araştırmanın bütün hikâyesinin yerine geçebiliyor.
Başlık şöyle olabiliyor:
“Yeni araştırma istatistiksel olarak anlamlı sonuç verdi!”
Okuyucu da bunun otomatik olarak “kesin olarak işe yarıyor” anlamına geldiğini düşünebiliyor.
Oysa araştırmanın nasıl tasarlandığı, örneklemin kimlerden oluştuğu, ölçülen etkinin büyüklüğü, belirsizlik düzeyi ve daha önceki çalışmaların ne söylediği de önemlidir.
ASA da bilimsel çıkarımların yalnızca p değerine indirgenmemesi, çalışma tasarımı ve ölçümlerin kalitesi gibi unsurların birlikte değerlendirilmesi gerektiğini vurguluyor.
Bu nedenle bugün bir araştırmada p değerini gördüğümde artık ilk sorum “Kaç?” olmuyor.
“Bu sayı hangi hikâyenin parçası?” diye soruyorum.
P Kaç Olmalı? Kısa Cevap, Uzun Hikâye
Eğer klasik hipotez testlerinden söz ediyorsak, 0,05 birçok alanda yaygın kullanılan bir anlamlılık eşiğidir.
Ancak “p mutlaka 0,05'ten küçük olmalı” demek eksik bir ifadedir.
Bazı araştırmalarda farklı anlamlılık düzeyleri kullanılabilir. Örneğin NIST'in bazı istatistiksel test uygulamalarında 0,01 gibi daha düşük anlamlılık düzeyleri tercih edilebiliyor. Bu da bize tek bir sayının bütün bilimsel sorular için evrensel bir kural olmadığını gösteriyor.
Daha önemlisi, p değerini tek başına yorumlamamak gerekiyor.
Bir sonuç raporunda mümkün olduğunca etki büyüklüğüne, güven aralığına, örneklem büyüklüğüne, kullanılan yönteme ve araştırmanın tasarımına da bakmak gerekiyor.
Yani sorunun daha doğru hâli belki de şu:
“P kaç olmalı?” değil,
“Bu p değeri, bu araştırmanın tasarımı ve bulduğu etki bağlamında ne anlatıyor?”
O Gün Masadan Kalkarken
Akşam olduğunda Murat bilgisayarını kapattı.
“Sonuç p=0,04,” dedi.
Elif gülümsedi.
“Peki?”
Murat bir an durdu.
“Peki ne?”
Elif sandalyesini geriye çekti.
“İnsanlar bununla ne yapacak?”
İkimiz de sustuk.
Çünkü aslında bütün meselenin burada düğümlendiğini fark etmiştik.
İstatistik bize karar vermek için araçlar sunabilir.
Ama rakamların anlamını değerlendirmek hâlâ bizim sorumluluğumuzdur.
P değeri bize belirli bir varsayım altında verinin ne kadar sıra dışı olduğunu anlamada yardımcı olabilir. Fakat tek başına gerçeğin mührü değildir. NIST'in tanımı p değerini belirli bir sıfır hipotezi altında test istatistiğinin gözlenen değer kadar veya daha uç bir değer alma olasılığı olarak çerçeveliyor.
ASA ise p değerlerinin bağlam içinde değerlendirilmesini, sonuçların şeffaf biçimde raporlanmasını ve tek bir istatistiksel ölçünün bilimsel muhakemenin yerini almamasını öneriyor.
O günden sonra “P kaç olmalı?” sorusunu duyduğumda artık sadece bir sayı düşünmüyorum.
Bir araştırmacının emeğini,
bir veri setinin hikâyesini,
bir testin varsayımlarını,
bir sonucun gerçek hayattaki karşılığını
ve en önemlisi, o rakama bakarak vereceğimiz kararın sonuçlarını düşünüyorum.
Belki de iyi istatistik tam olarak budur:
Rakamı bilmek değil, rakamın bize ne söyleyebileceğini ve ne söyleyemeyeceğini bilmek.
Forumda bu konuyu tartışırken benim merak ettiğim asıl soru da şu:
Siz bir araştırmada p=0,03 gördüğünüzde ilk olarak neye bakıyorsunuz?
P değerine mi?
Etki büyüklüğüne mi?
Güven aralığına mı?
Yoksa araştırmanın nasıl yapıldığına mı?
Belki de en iyi cevap, bunlardan yalnızca birini seçmek yerine hepsini aynı masaya oturtmaktır.
Hikâyeyi 1000 kelimenin üstüne çıkarTarihsel arka planı olay örgüsüne yedir
Hikâyeyi 1000 kelimenin üstüne çıkar
Tarihsel arka planı olay örgüsüne yedir
Kaynakçayı okunur biçimde düzenle