Bilim, psikoloji, istatistik ve araştırma etiği üzerine forum tartışması
Yazma
Replication Crisis (Tekrarlanabilirlik Krizi) Nedir? Bilimsel Araştırmalara Ne Kadar Güvenmeliyiz?
Bir düşünün: Yıllardır okuduğunuz bir araştırma, insan davranışlarını anlamak için önemli bir keşif olarak sunuluyor. Gazeteler bu keşfi haber yapıyor, sosyal medyada insanlar sonuçları tartışıyor, şirketler araştırmaya dayanarak stratejiler geliştiriyor ve belki de birileri hayatını bu bilginin üzerine kuruyor. Birkaç yıl sonra başka araştırmacılar aynı deneyi tekrarlıyor, ancak aynı sonuca ulaşamıyor. Peki, ilk araştırma yanlış mıydı? İkinci araştırmacılar mı hata yaptı, yoksa bilimsel sistemin kendisinde çözülmesi gereken bir sorun mu var?
İşte Replication Crisis, yani tekrarlanabilirlik krizi, tam olarak bu soruların merkezinde yer alıyor.
Bence bu konu yalnızca akademisyenleri, üniversiteleri veya laboratuvarlarda çalışan bilim insanlarını ilgilendirmiyor. Psikoloji araştırmalarından sağlık önerilerine, eğitim yöntemlerinden iş dünyasındaki insan kaynakları kararlarına kadar uzanan geniş bir alanı etkiliyor. Günlük hayatta karşılaştığımız pek çok iddia, bir araştırmanın sonucuna dayandırılıyor. Bu nedenle asıl mesele, bilim insanlarının hiç hata yapmaması değil; bilimsel bir iddianın ne kadar sağlam olduğunu anlayabilmemiz.
Gelin, tekrarlanabilirlik krizinin neden ortaya çıktığına, gerçek araştırmalardan elde edilen verilere ve bunun toplum açısından ne anlama geldiğine birlikte bakalım.
1. Replication Crisis Tam Olarak Ne Anlama Geliyor?
Bilimde bir iddianın güvenilirliğini değerlendirmenin temel yollarından biri, başka araştırmacıların benzer koşullarda aynı çalışmayı tekrarlayarak benzer sonuçlara ulaşıp ulaşamadığını incelemektir. Buna replikasyon, yani araştırmanın tekrarlanması denir.
Örneğin bir araştırmacı, düzenli uyumanın dikkat performansını artırdığını göstermek için bir deney yapıyor. Başka bir ekip benzer katılımcılarla, benzer ölçüm araçlarıyla ve aynı temel yöntemle çalışmayı tekrarlıyor. İkinci araştırma da benzer bir etki buluyorsa ilk bulgu için güvenimiz artabilir.
Ancak sonuçlar birbirinden belirgin biçimde farklıysa araştırmacıların şu soruları sorması gerekir:
- İlk araştırmada örneklem sayısı yeterli miydi?
- Sonuçlar tesadüfen ortaya çıkmış olabilir mi?
- Araştırmacılar yalnızca olumlu sonuçları mı yayımladı?
- Deney yöntemi iki çalışmada gerçekten aynı mıydı?
- Katılımcıların kültürü, yaşı veya sosyal çevresi sonuçları değiştirmiş olabilir mi?
Burada önemli bir ayrım var: Bir araştırmanın tekrarlanamaması, ilk araştırmanın kesinlikle sahte veya yanlış olduğu anlamına gelmez. Gerçek etkiler bile farklı koşullarda değişebilir. Ayrıca bir deneyin başarısız biçimde tekrarlanması, ölçüm hatasından uygulama farklılıklarına kadar pek çok nedenle ortaya çıkabilir.
Tekrarlanabilirlik krizi, tek bir çalışmanın başarısız olmasından çok, bilimsel literatürdeki bazı sonuçların beklenenden daha az güvenilir olabileceğini gösteren geniş kapsamlı bir sorundur.
Bu nedenle krizi bilime yönelik bir saldırı olarak değil, bilimsel bilgiyi daha sağlam hâle getirme ihtiyacı olarak görmek gerektiğini düşünüyorum.
2. Bilim Dünyasında Alarm Zilleri: Rakamlar Ne Söylüyor?
Tekrarlanabilirlik tartışmasının geniş kitlelerce tanınmasında, psikoloji alanında gerçekleştirilen büyük ölçekli araştırmalar önemli rol oynadı.
2015 yılında yayımlanan 100 araştırmalık çalışma
Open Science Collaboration adlı araştırmacı topluluğu, 2015 yılında Science dergisinde yayımlanan bir çalışmada, üç psikoloji dergisinde daha önce yayımlanmış 100 araştırmayı bağımsız ekiplerle tekrarlamaya çalıştı.
Çalışmanın sonuçları oldukça dikkat çekiciydi:
- İlk araştırmaların yüzde 97'si istatistiksel olarak anlamlı sonuç bildirmişti.
- Tekrarlama çalışmalarının yalnızca yüzde 36'sı istatistiksel anlamlılık eşiğini geçti.
- Tekrarlama çalışmalarında hesaplanan etkilerin büyüklüğü, ilk araştırmalardaki etkilerin ortalama olarak yaklaşık yarısı kadardı.
- İlk araştırmaların etki büyüklüklerinin yüzde 47'si, tekrarlama araştırmalarının yüzde 95 güven aralıklarının içinde yer aldı.
Buradaki yüzde 36, araştırmaların yalnızca yüzde 36'sının bilimsel açıdan herhangi bir değer taşıdığı anlamına gelmiyor. Bu oran, belirli bir istatistiksel ölçüte göre anlamlı sonuç elde edilen tekrarlama çalışmalarının oranıdır. Bir araştırma anlamlılık eşiğini geçemese bile ilk bulguyla uyumlu bazı kanıtlar sunabilir.
Yüzde 97 ile yüzde 36 arasındaki farkın dikkat çekici olmasının nedeni, yayımlanan ilk bulguların ne kadar güçlü göründüğü ile bağımsız tekrarlamalarda elde edilen sonuçlar arasında ciddi bir mesafe bulunmasıdır.
Kaynak: Open Science Collaboration, Estimating the Reproducibility of Psychological Science, Science, 2015. DOI: 10.1126/science.aac4716.
Araştırmanın bence en önemli mesajı şu: Bilimsel bir dergide yayımlanmış olmak, bir bulgunun kesinleştiği anlamına gelmez. Yayın, bilimsel değerlendirmenin önemli bir aşamasıdır; son noktası değildir.
2016 yılında Nature tarafından gerçekleştirilen araştırmacı anketi
Nature dergisinin 2016 yılında yayımladığı araştırmacı anketinde 1.576 kişi görüş bildirdi. Katılımcıların yüzde 70'inden fazlası başka araştırmacıların deney sonuçlarını yeniden elde edemediğini, yarısından fazlası ise kendi deneylerinden en az bazılarının sonuçlarını yeniden üretemediğini belirtti.
Bu verileri doğru yorumlamak önemli. Anket, araştırmacıların deneyimlerini ve algılarını ölçüyordu; bilimsel çalışmaların yüzde 70'inin yanlış olduğunu kanıtlayan bir deney değildi. Yine de sorunun yalnızca belirli bir laboratuvara özgü olmadığını ve araştırmacılar arasında ciddi kaygı yarattığını gösteriyordu.
Ankette araştırmacıların yüzde 52'si tekrarlanabilirlik konusunda önemli bir kriz bulunduğunu düşünüyordu. Buna karşın, katılımcıların büyük çoğunluğunun yayımlanmış bilimsel literatüre güvenmeye devam etmesi de dikkat çekiciydi.
Kaynak: Monya Baker, 1,500 Scientists Lift the Lid on Reproducibility, Nature, 2016.
Bana göre bu iki çalışma birlikte okunduğunda, sorunun bilim insanlarının tüm sonuçlarının güvenilmez olması değil, yayımlanan sonuçların ne kadarının bağımsız doğrulamaya ihtiyaç duyduğunu yeterince bilemememiz olduğu anlaşılıyor.
3. Bir Araştırma Neden Tekrarlanamaz?
Tekrarlanabilirlik sorununu anlamak için bilimsel araştırmaların nasıl yürütüldüğüne bakmak gerekiyor. Çünkü mesele yalnızca dikkatsiz araştırmacılardan veya kötü niyetli kişilerden ibaret değil.
Küçük örneklemler ve istatistiksel belirsizlik
Bir araştırma 20 kişiyle gerçekleştirildiğinde, elde edilen sonuçlar örnekleme özgü tesadüfi farklılıklardan daha fazla etkilenebilir. Özellikle beklenen etki küçükse araştırma, gerçek bir etkiyi güvenilir biçimde tespit etmekte zorlanabilir.
Küçük örneklemlerde tesadüfen çok büyük görünen etkiler elde edilmesi de mümkündür. Böyle bir sonuç yayımlandığında, sonraki araştırmacılar daha büyük bir örneklemle aynı deneyi yaptıklarında daha küçük bir etki bulabilir.
Bu, ilk araştırmanın mutlaka hatalı olduğu anlamına gelmez. İlk sonuç, gerçek etkinin büyüklüğünü olduğundan fazla tahmin etmiş olabilir.
Yalnızca olumlu sonuçların yayımlanması
Bir araştırma ekibinin yaptığı on deneyden yalnızca ikisi istatistiksel olarak anlamlı sonuç veriyorsa ve dergiler esas olarak bu iki sonucu yayımlıyorsa, bilimsel literatür gerçekte olduğundan daha tutarlı görünebilir.
Bu durum yayın yanlılığı olarak bilinir. Başarısız sonuçların ortadan kaybolması, diğer araştırmacıların aynı soruyu daha önce kaç kez test ettiğini görmesini zorlaştırır.
Örneğin bir şirket, belirli bir çalışma yönteminin üretkenliği artırdığını gösteren bir araştırmaya rastlayabilir. Fakat aynı yöntemin hiçbir fayda göstermediği veya olumsuz sonuç verdiği araştırmalar yayımlanmamışsa şirket, kanıtların toplamını değil yalnızca olumlu bir bölümünü görmüş olur.
Sonuç görüldükten sonra hipotezin değiştirilmesi
Araştırmacılar bazen verileri inceledikten sonra farklı analizler deneyebilir. Bu tek başına yanlış değildir; keşfedici analizler bilimsel açıdan değerlidir. Sorun, veriler görüldükten sonra seçilen hipotezin sanki deneyden önce belirlenmiş gibi sunulmasıdır.
Araştırmacı çok sayıda değişkeni, alt grubu ve analiz yöntemini denediğinde, tesadüfen anlamlı bir sonuç bulma olasılığı artabilir.
Bu nedenle ön kayıt, yani araştırma hipotezinin, yönteminin ve analiz planının veri toplanmadan önce kayda geçirilmesi, sonradan yapılan seçimlerin etkisini azaltmaya yardımcı olur.
Akademik kariyer baskısı
Üniversitelerde yayın sayısı, atama, terfi, fon ve akademik itibar açısından önemli olabilir. Bu ortamda olumlu ve şaşırtıcı sonuçlar, olumsuz veya belirsiz sonuçlardan daha fazla ilgi görebilir.
Burada sorunu yalnızca bireysel ahlakla açıklamak eksik kalır. İnsanlardan sürekli yeni ve dikkat çekici sonuçlar üretmeleri beklenirken, sistem tekrarlama çalışmalarını daha az ödüllendiriyorsa araştırmacılar üzerinde yapısal bir baskı oluşur.
Elbette bu durum her araştırmacının verileri çarpıttığı anlamına gelmez. Çoğu bilim insanı sınırlı zaman ve kaynaklarla iyi araştırma yapmaya çalışır. Ancak iyi niyetli insanların bulunduğu bir sistemde bile yanlış teşvikler, bilimsel sonuçların güvenilirliğini zayıflatabilir.
4. Gerçek Dünyadan Bir Örnek: İrade Gücü Gerçekten Tükeniyor mu?
Tekrarlanabilirlik krizini daha somut anlamak için psikolojide uzun süre ilgi gören bir kavrama bakalım: ego depletion, yani irade gücünün tükenmesi etkisi.
Yazma
Replication Crisis (Tekrarlanabilirlik Krizi) Nedir? Bilimsel Araştırmalara Ne Kadar Güvenmeliyiz?
Bir düşünün: Yıllardır okuduğunuz bir araştırma, insan davranışlarını anlamak için önemli bir keşif olarak sunuluyor. Gazeteler bu keşfi haber yapıyor, sosyal medyada insanlar sonuçları tartışıyor, şirketler araştırmaya dayanarak stratejiler geliştiriyor ve belki de birileri hayatını bu bilginin üzerine kuruyor. Birkaç yıl sonra başka araştırmacılar aynı deneyi tekrarlıyor, ancak aynı sonuca ulaşamıyor. Peki, ilk araştırma yanlış mıydı? İkinci araştırmacılar mı hata yaptı, yoksa bilimsel sistemin kendisinde çözülmesi gereken bir sorun mu var?
İşte Replication Crisis, yani tekrarlanabilirlik krizi, tam olarak bu soruların merkezinde yer alıyor.
Bence bu konu yalnızca akademisyenleri, üniversiteleri veya laboratuvarlarda çalışan bilim insanlarını ilgilendirmiyor. Psikoloji araştırmalarından sağlık önerilerine, eğitim yöntemlerinden iş dünyasındaki insan kaynakları kararlarına kadar uzanan geniş bir alanı etkiliyor. Günlük hayatta karşılaştığımız pek çok iddia, bir araştırmanın sonucuna dayandırılıyor. Bu nedenle asıl mesele, bilim insanlarının hiç hata yapmaması değil; bilimsel bir iddianın ne kadar sağlam olduğunu anlayabilmemiz.
Gelin, tekrarlanabilirlik krizinin neden ortaya çıktığına, gerçek araştırmalardan elde edilen verilere ve bunun toplum açısından ne anlama geldiğine birlikte bakalım.
1. Replication Crisis Tam Olarak Ne Anlama Geliyor?
Bilimde bir iddianın güvenilirliğini değerlendirmenin temel yollarından biri, başka araştırmacıların benzer koşullarda aynı çalışmayı tekrarlayarak benzer sonuçlara ulaşıp ulaşamadığını incelemektir. Buna replikasyon, yani araştırmanın tekrarlanması denir.
Örneğin bir araştırmacı, düzenli uyumanın dikkat performansını artırdığını göstermek için bir deney yapıyor. Başka bir ekip benzer katılımcılarla, benzer ölçüm araçlarıyla ve aynı temel yöntemle çalışmayı tekrarlıyor. İkinci araştırma da benzer bir etki buluyorsa ilk bulgu için güvenimiz artabilir.
Ancak sonuçlar birbirinden belirgin biçimde farklıysa araştırmacıların şu soruları sorması gerekir:
- İlk araştırmada örneklem sayısı yeterli miydi?
- Sonuçlar tesadüfen ortaya çıkmış olabilir mi?
- Araştırmacılar yalnızca olumlu sonuçları mı yayımladı?
- Deney yöntemi iki çalışmada gerçekten aynı mıydı?
- Katılımcıların kültürü, yaşı veya sosyal çevresi sonuçları değiştirmiş olabilir mi?
Burada önemli bir ayrım var: Bir araştırmanın tekrarlanamaması, ilk araştırmanın kesinlikle sahte veya yanlış olduğu anlamına gelmez. Gerçek etkiler bile farklı koşullarda değişebilir. Ayrıca bir deneyin başarısız biçimde tekrarlanması, ölçüm hatasından uygulama farklılıklarına kadar pek çok nedenle ortaya çıkabilir.
Tekrarlanabilirlik krizi, tek bir çalışmanın başarısız olmasından çok, bilimsel literatürdeki bazı sonuçların beklenenden daha az güvenilir olabileceğini gösteren geniş kapsamlı bir sorundur.
Bu nedenle krizi bilime yönelik bir saldırı olarak değil, bilimsel bilgiyi daha sağlam hâle getirme ihtiyacı olarak görmek gerektiğini düşünüyorum.
2. Bilim Dünyasında Alarm Zilleri: Rakamlar Ne Söylüyor?
Tekrarlanabilirlik tartışmasının geniş kitlelerce tanınmasında, psikoloji alanında gerçekleştirilen büyük ölçekli araştırmalar önemli rol oynadı.
2015 yılında yayımlanan 100 araştırmalık çalışma
Open Science Collaboration adlı araştırmacı topluluğu, 2015 yılında Science dergisinde yayımlanan bir çalışmada, üç psikoloji dergisinde daha önce yayımlanmış 100 araştırmayı bağımsız ekiplerle tekrarlamaya çalıştı.
Çalışmanın sonuçları oldukça dikkat çekiciydi:
- İlk araştırmaların yüzde 97'si istatistiksel olarak anlamlı sonuç bildirmişti.
- Tekrarlama çalışmalarının yalnızca yüzde 36'sı istatistiksel anlamlılık eşiğini geçti.
- Tekrarlama çalışmalarında hesaplanan etkilerin büyüklüğü, ilk araştırmalardaki etkilerin ortalama olarak yaklaşık yarısı kadardı.
- İlk araştırmaların etki büyüklüklerinin yüzde 47'si, tekrarlama araştırmalarının yüzde 95 güven aralıklarının içinde yer aldı.
Buradaki yüzde 36, araştırmaların yalnızca yüzde 36'sının bilimsel açıdan herhangi bir değer taşıdığı anlamına gelmiyor. Bu oran, belirli bir istatistiksel ölçüte göre anlamlı sonuç elde edilen tekrarlama çalışmalarının oranıdır. Bir araştırma anlamlılık eşiğini geçemese bile ilk bulguyla uyumlu bazı kanıtlar sunabilir.
Yüzde 97 ile yüzde 36 arasındaki farkın dikkat çekici olmasının nedeni, yayımlanan ilk bulguların ne kadar güçlü göründüğü ile bağımsız tekrarlamalarda elde edilen sonuçlar arasında ciddi bir mesafe bulunmasıdır.
Kaynak: Open Science Collaboration, Estimating the Reproducibility of Psychological Science, Science, 2015. DOI: 10.1126/science.aac4716.
Araştırmanın bence en önemli mesajı şu: Bilimsel bir dergide yayımlanmış olmak, bir bulgunun kesinleştiği anlamına gelmez. Yayın, bilimsel değerlendirmenin önemli bir aşamasıdır; son noktası değildir.
2016 yılında Nature tarafından gerçekleştirilen araştırmacı anketi
Nature dergisinin 2016 yılında yayımladığı araştırmacı anketinde 1.576 kişi görüş bildirdi. Katılımcıların yüzde 70'inden fazlası başka araştırmacıların deney sonuçlarını yeniden elde edemediğini, yarısından fazlası ise kendi deneylerinden en az bazılarının sonuçlarını yeniden üretemediğini belirtti.
Bu verileri doğru yorumlamak önemli. Anket, araştırmacıların deneyimlerini ve algılarını ölçüyordu; bilimsel çalışmaların yüzde 70'inin yanlış olduğunu kanıtlayan bir deney değildi. Yine de sorunun yalnızca belirli bir laboratuvara özgü olmadığını ve araştırmacılar arasında ciddi kaygı yarattığını gösteriyordu.
Ankette araştırmacıların yüzde 52'si tekrarlanabilirlik konusunda önemli bir kriz bulunduğunu düşünüyordu. Buna karşın, katılımcıların büyük çoğunluğunun yayımlanmış bilimsel literatüre güvenmeye devam etmesi de dikkat çekiciydi.
Kaynak: Monya Baker, 1,500 Scientists Lift the Lid on Reproducibility, Nature, 2016.
Bana göre bu iki çalışma birlikte okunduğunda, sorunun bilim insanlarının tüm sonuçlarının güvenilmez olması değil, yayımlanan sonuçların ne kadarının bağımsız doğrulamaya ihtiyaç duyduğunu yeterince bilemememiz olduğu anlaşılıyor.
3. Bir Araştırma Neden Tekrarlanamaz?
Tekrarlanabilirlik sorununu anlamak için bilimsel araştırmaların nasıl yürütüldüğüne bakmak gerekiyor. Çünkü mesele yalnızca dikkatsiz araştırmacılardan veya kötü niyetli kişilerden ibaret değil.
Küçük örneklemler ve istatistiksel belirsizlik
Bir araştırma 20 kişiyle gerçekleştirildiğinde, elde edilen sonuçlar örnekleme özgü tesadüfi farklılıklardan daha fazla etkilenebilir. Özellikle beklenen etki küçükse araştırma, gerçek bir etkiyi güvenilir biçimde tespit etmekte zorlanabilir.
Küçük örneklemlerde tesadüfen çok büyük görünen etkiler elde edilmesi de mümkündür. Böyle bir sonuç yayımlandığında, sonraki araştırmacılar daha büyük bir örneklemle aynı deneyi yaptıklarında daha küçük bir etki bulabilir.
Bu, ilk araştırmanın mutlaka hatalı olduğu anlamına gelmez. İlk sonuç, gerçek etkinin büyüklüğünü olduğundan fazla tahmin etmiş olabilir.
Yalnızca olumlu sonuçların yayımlanması
Bir araştırma ekibinin yaptığı on deneyden yalnızca ikisi istatistiksel olarak anlamlı sonuç veriyorsa ve dergiler esas olarak bu iki sonucu yayımlıyorsa, bilimsel literatür gerçekte olduğundan daha tutarlı görünebilir.
Bu durum yayın yanlılığı olarak bilinir. Başarısız sonuçların ortadan kaybolması, diğer araştırmacıların aynı soruyu daha önce kaç kez test ettiğini görmesini zorlaştırır.
Örneğin bir şirket, belirli bir çalışma yönteminin üretkenliği artırdığını gösteren bir araştırmaya rastlayabilir. Fakat aynı yöntemin hiçbir fayda göstermediği veya olumsuz sonuç verdiği araştırmalar yayımlanmamışsa şirket, kanıtların toplamını değil yalnızca olumlu bir bölümünü görmüş olur.
Sonuç görüldükten sonra hipotezin değiştirilmesi
Araştırmacılar bazen verileri inceledikten sonra farklı analizler deneyebilir. Bu tek başına yanlış değildir; keşfedici analizler bilimsel açıdan değerlidir. Sorun, veriler görüldükten sonra seçilen hipotezin sanki deneyden önce belirlenmiş gibi sunulmasıdır.
Araştırmacı çok sayıda değişkeni, alt grubu ve analiz yöntemini denediğinde, tesadüfen anlamlı bir sonuç bulma olasılığı artabilir.
Bu nedenle ön kayıt, yani araştırma hipotezinin, yönteminin ve analiz planının veri toplanmadan önce kayda geçirilmesi, sonradan yapılan seçimlerin etkisini azaltmaya yardımcı olur.
Akademik kariyer baskısı
Üniversitelerde yayın sayısı, atama, terfi, fon ve akademik itibar açısından önemli olabilir. Bu ortamda olumlu ve şaşırtıcı sonuçlar, olumsuz veya belirsiz sonuçlardan daha fazla ilgi görebilir.
Burada sorunu yalnızca bireysel ahlakla açıklamak eksik kalır. İnsanlardan sürekli yeni ve dikkat çekici sonuçlar üretmeleri beklenirken, sistem tekrarlama çalışmalarını daha az ödüllendiriyorsa araştırmacılar üzerinde yapısal bir baskı oluşur.
Elbette bu durum her araştırmacının verileri çarpıttığı anlamına gelmez. Çoğu bilim insanı sınırlı zaman ve kaynaklarla iyi araştırma yapmaya çalışır. Ancak iyi niyetli insanların bulunduğu bir sistemde bile yanlış teşvikler, bilimsel sonuçların güvenilirliğini zayıflatabilir.
4. Gerçek Dünyadan Bir Örnek: İrade Gücü Gerçekten Tükeniyor mu?
Tekrarlanabilirlik krizini daha somut anlamak için psikolojide uzun süre ilgi gören bir kavrama bakalım: ego depletion, yani irade gücünün tükenmesi etkisi.