Son Derece Makul Soru: Anketlere Güvenebilir miyiz?
Anketçiler bu yıl yeniden yola çıkıyor. Biraz korkutucu mu? Evet. Kredi… The New York Times için Adam Dean
Geçen Pazartesi, bu yılki Senato anketindeki erken “uyarı işaretleri” hakkında yazmıştım. Sonra üç gün sonra, yeni bir ulusal anketin sonuçlarının yazılmasına yardımcı oldum: New York Times/Siena College anketi, kayıtlı seçmenler arasındaki genel oylamada Demokratları yüzde iki puan önde gösteriyor.
Bunun biraz çelişkili olduğunu düşündüyseniz, yalnız değilsiniz. Bir kişi tweet attı: “Anketlerin bir illüzyon olduğunu yazmamış mıydınız? Buna neden inanalım?”
Bu tamamen adil bir soru ve düzenli olarak karşılaştığım bir soru: Bu anketlere inanmalı mıyım – inanmamalı mıyım? Aynı zamanda cevaplaması şaşırtıcı derecede karmaşık bir soru.
Bu kulağa açık gelebilir, ancak yine de söyleyeceğim: Anketlerimizin seçmenler ve seçimin durumu hakkında değerli bilgiler sağladığına inanıyoruz. Bu anketler zaman alıcı, pahalı ve streslidir, “yanlış” olduklarında önemli zihinsel sağlık ve itibar maliyetleri ile birlikte. Faydasız olmaya mahkum olduklarına inansaydık, bu çabayı göstermezdik.
Evet, uyarı işaretleri var – ve onları bu bültende izleyeceğiz. Anketlere sorgusuz sualsiz “inanmanız” gerektiğini düşünmüyorum, en azından bir ansiklopediden alınan rakamlara “inandığınız” anlamında. Anketler, Dünya’nın çapı veya ışık hızı gibi kesin ölçümler değildir. Kesin olmayan tahminlerdir – ve klasik hata payı bile gerçek belirsizlik derecesini ciddi şekilde olduğundan az gösterir.
Ancak tüm sınırlamalara rağmen, 2020 oylama hatası da kaçınılmaz değildir. Aslında, en son anketimiz, 2022 anketlerinin 2020’dekilere benzemeyebileceğine dair bazı küçük teşvik işaretleri gösterdi.
Denizde yoklama hataları
Geçen ay Ontario’da bir gölde bir hafta geçirdim, bu yüzden yoklama başarısızlıklarını farklı bir felakete benzettiğim için beni bağışlayın: şiddetli bir fırtınada alabora olan bir tekne.
Fırtınadaki cılız bir tekne gibi, son döngüdeki oylama hatası, hem sert dalgalar hem de Trump seçmenlerinin anketlere katılma olasılığının düşük olması gibi zor koşulları ve bu güçlükle başa çıkamayan bir oylama gemisini gerektiriyordu.
Bununla birlikte, bu yıl yine yelken açıyoruz.
Biraz korkutucu mu? Evet. Biz anketörler, geçen sefer ters dönen teknelere takılıp kaldık. Daha sağlam bir şey almak istiyoruz ama piyasada daha iyisi yok. Bu, değişiklik yapmadığımız anlamına gelmez, ancak en iyi fikirlerimizin çoğu, vidaları sıkmak ve delikleri yamamakla eşdeğerdir. Bu tür değişikliklere rağmen bugün gemilerimizin 2020’de yaşadığımız fırtınaya dayanacağından emin olamayız.
Ama mahkum muyuz? Hayır. Örneğin, pandeminin sandık hatasına katkıda bulunduğuna dair güvenilir bir teori var, çünkü güvenlik bilincine sahip liberaller, karantinalar sırasında (ve telefon görüşmelerine cevap verirken) muhafazakarlar dışarı çıkıp hayatlarını yaşarken evde olma olasılıkları daha yüksekti. Karantinalar sona erdiğinde, bu eğilimler de olabilir.
2022 Ara Seçimlerinin Durumu
Ön seçimlerin sona ermesiyle her iki parti de odaklarını 8 Kasım’daki genel seçimlere kaydırıyor.
Bu noktaya kadar okuduğunuz şey, FiveThirtyEight’tan Nate Silver tarafından yazılan ve bu sonbaharda anketlerin yanlış olmayabileceğini savunan bir analizin denizcilik versiyonu. Parça benimkileri çürütmek için çerçevelenmiş olsa da, hiçbirine katılmıyorum. Okumanın tavsiye edildiğini düşünün.
En son anketimizden olumlu bir veri noktası: partiye göre yanıt oranları
2020’den sonra yapılan oylama ile fırtınadan sonraki gün yola çıkmak arasında büyük bir fark var: Denizci muhtemelen bir hava durumu tahminini bulabilir.
Anket hatası uyarıları almıyoruz, ancak geçen haftaki haber bülteni, olabildiğince yakın bir şeye işaret etti: Geçen sefer anketlerin Demokratları olduğundan fazla tahmin ettiği yerlerdeki şaşırtıcı Demokratik güç. Bu metaforun devam etmesine izin verirseniz, ufukta uğursuz bir bulut var. Kara bulutlar mutlaka şiddetli bir fırtına olacağı anlamına gelmez, ancak bir fırtına olacak olsaydı, önce bazı kara bulutlar görürdük. Benzer şekilde, eyalet anketlerindeki bu model, anketlerin iki yıl önce olduğu gibi hata yapıp yapmayacağını tam olarak görmeyi beklediğimiz şeydir.
Bu hafta, anketçilerin karşı karşıya olduğu koşulların yeni bir ölçümünü rapor edebilirim: En son Times/Siena anketimize Demokratların mı Cumhuriyetçilerin mi yanıt verme olasılığı daha yüksek?
Bunu 2020 sonbaharında sistematik olarak takip etmiyordum – bu verinin toplanması ve işlenmesi, özellikle de diğer her şey devam ederken her zaman kolay değildir. Ancak yanıtı taraf bazında takip ediyor olsaydım, bu başka bir uyarı işareti olurdu.
Eylül ve Ekim 2020 verilerimize baktığımızda, beyaz Demokratların Times/Siena anketlerine yanıt verme olasılığı beyaz Cumhuriyetçilere göre yüzde 20 daha yüksekti. Bu eşitsizlik büyük olasılıkla daha derin bir sorunu ele verdi: Partiden bağımsız olarak Trump seçmenlerinin anketlerimize yanıt verme olasılığı daha düşüktü.
Bu cephede iyi haberlerim var: Partilerin yanıt oranı bu döngüye kadar daha dengeli. Geçen hafta yayınladığımız ulusal ankette, beyaz Demokratların anketi tamamlama olasılığı beyaz Cumhuriyetçilerden yalnızca yüzde 5 daha yüksekti. Bu, tahmini bir Biden-Trump yarışmasına ilişkin erken anketimizin olası seçmenler arasında nihai sonuca ürkütücü bir şekilde yaklaştığı Ekim 2019 anketimizin seviyesine yakın. Bu savaş alanı devlet anketlerinde, aynı eyaletlerin sonbahar 2020 anketlerinde yüzde 23’lük bir farkla karşılaştırıldığında, beyaz Demokratların Cumhuriyetçilerden yüzde 6 daha fazla yanıt verme olasılığı vardı.
Bu iyiye işaret. Belki – sadece belki – geçen haftaki anketimiz, son döngülerdeki anketlerden daha yakındı.
Ama ya yine de yanlışsa?
Yine de, anketler aynı 2020 marjıyla tekrar kapanırsa ne olabileceğini hayal etmeye değer.
Kayıtlı seçmenler arasında geçen haftaki anketimizde Demokratlar yerine Cumhuriyetçiler iki puan önde olacaktı. Kesinlikle farklı bir yarış olurdu, ancak hikaye çok farklı okunmayabilir. Muhtemelen, genel bir kampanyanın başlangıcında yarışmayı hala oldukça rekabetçi olarak nitelendirirdik. Bu, dört puanlık bir hatanın Biden heyelanı ile oldukça rekabetçi bir yarış arasındaki farkı yarattığı 2020’den biraz farklı.
Bunu düşünürseniz, 2020 benzeri bir yoklama hatasının oldukça tolere edilebileceği birçok durum vardır. Amerikalıların yüzde 46’sının mı yoksa yüzde 50’sinin ekonominin fakir veya kötü olmaktansa iyi veya mükemmel olduğunu düşünmesi büyük bir fark yaratıyor mu? Peki ya Bay Trump, 2024’ün ön seçimlerinin erken bir testinde yüzde 54’te mi yoksa yüzde 58’de mi? Buna karşılık, yakın partizan seçimleri anketleri son derece hassas olabilir: Bay Biden’ın oyların yüzde 46’sına mı yoksa yüzde 50’sine mi sahip olduğu, son çarpıklık göz önüne alındığında, kesin bir sekiz puanlık zafer veya Bay Trump için açık bir zafer arasındaki fark olabilir. Seçim Koleji’nden.
Ayrıca, anketlerin at yarışını kaçırsalar bile değerli bilgiler içerdiğini de belirtmekte fayda var. Örneğin 2016’daki seçim öncesi anketler, Bay Trump’ın üniversite diploması olmayan beyaz seçmenler arasında büyük kazanımlar elde ettiğini gösterdi.
Ve son döngü, Bay Trump’ın Hispanikler arasındaki kazanımlarını gösterdiler. Anketlerin ortaya çıkardığı bu eğilimler ithalata devam ediyor. Hafta sonu kaçırdıysanız, meslektaşlarım bu çapraz tablolara dayanarak bu makalede Hispaniklere odaklanan anketimizin sonuçlarını analiz ettiler.
Alıntıdır
Anketçiler bu yıl yeniden yola çıkıyor. Biraz korkutucu mu? Evet. Kredi… The New York Times için Adam Dean
Geçen Pazartesi, bu yılki Senato anketindeki erken “uyarı işaretleri” hakkında yazmıştım. Sonra üç gün sonra, yeni bir ulusal anketin sonuçlarının yazılmasına yardımcı oldum: New York Times/Siena College anketi, kayıtlı seçmenler arasındaki genel oylamada Demokratları yüzde iki puan önde gösteriyor.
Bunun biraz çelişkili olduğunu düşündüyseniz, yalnız değilsiniz. Bir kişi tweet attı: “Anketlerin bir illüzyon olduğunu yazmamış mıydınız? Buna neden inanalım?”
Bu tamamen adil bir soru ve düzenli olarak karşılaştığım bir soru: Bu anketlere inanmalı mıyım – inanmamalı mıyım? Aynı zamanda cevaplaması şaşırtıcı derecede karmaşık bir soru.
Bu kulağa açık gelebilir, ancak yine de söyleyeceğim: Anketlerimizin seçmenler ve seçimin durumu hakkında değerli bilgiler sağladığına inanıyoruz. Bu anketler zaman alıcı, pahalı ve streslidir, “yanlış” olduklarında önemli zihinsel sağlık ve itibar maliyetleri ile birlikte. Faydasız olmaya mahkum olduklarına inansaydık, bu çabayı göstermezdik.
Evet, uyarı işaretleri var – ve onları bu bültende izleyeceğiz. Anketlere sorgusuz sualsiz “inanmanız” gerektiğini düşünmüyorum, en azından bir ansiklopediden alınan rakamlara “inandığınız” anlamında. Anketler, Dünya’nın çapı veya ışık hızı gibi kesin ölçümler değildir. Kesin olmayan tahminlerdir – ve klasik hata payı bile gerçek belirsizlik derecesini ciddi şekilde olduğundan az gösterir.
Ancak tüm sınırlamalara rağmen, 2020 oylama hatası da kaçınılmaz değildir. Aslında, en son anketimiz, 2022 anketlerinin 2020’dekilere benzemeyebileceğine dair bazı küçük teşvik işaretleri gösterdi.
Denizde yoklama hataları
Geçen ay Ontario’da bir gölde bir hafta geçirdim, bu yüzden yoklama başarısızlıklarını farklı bir felakete benzettiğim için beni bağışlayın: şiddetli bir fırtınada alabora olan bir tekne.
Fırtınadaki cılız bir tekne gibi, son döngüdeki oylama hatası, hem sert dalgalar hem de Trump seçmenlerinin anketlere katılma olasılığının düşük olması gibi zor koşulları ve bu güçlükle başa çıkamayan bir oylama gemisini gerektiriyordu.
Bununla birlikte, bu yıl yine yelken açıyoruz.
Biraz korkutucu mu? Evet. Biz anketörler, geçen sefer ters dönen teknelere takılıp kaldık. Daha sağlam bir şey almak istiyoruz ama piyasada daha iyisi yok. Bu, değişiklik yapmadığımız anlamına gelmez, ancak en iyi fikirlerimizin çoğu, vidaları sıkmak ve delikleri yamamakla eşdeğerdir. Bu tür değişikliklere rağmen bugün gemilerimizin 2020’de yaşadığımız fırtınaya dayanacağından emin olamayız.
Ama mahkum muyuz? Hayır. Örneğin, pandeminin sandık hatasına katkıda bulunduğuna dair güvenilir bir teori var, çünkü güvenlik bilincine sahip liberaller, karantinalar sırasında (ve telefon görüşmelerine cevap verirken) muhafazakarlar dışarı çıkıp hayatlarını yaşarken evde olma olasılıkları daha yüksekti. Karantinalar sona erdiğinde, bu eğilimler de olabilir.
2022 Ara Seçimlerinin Durumu
Ön seçimlerin sona ermesiyle her iki parti de odaklarını 8 Kasım’daki genel seçimlere kaydırıyor.
- Trump’ın yankısı:Kritik ara dönem eyaletlerinde, hepsi eski Başkan Donald J. Trump tarafından desteklenen altı GOP adayı, bu yılki seçim sonuçlarını kabul etme taahhüdünde bulunmadı.
- Times/Siena Anketi:2022 seçim döngüsüne ilişkin ikinci anketimiz, Demokratların Kongre savaşında beklenmedik bir şekilde rekabetçi olmaya devam ettiğini, GOP’un Latino seçmenler arasında büyük bir yeniden düzenleme hayallerinin gerçekleşmediğini buldu.
- Ohio Senatosu Yarışı:Bir Demokrat olan Temsilci Tim Ryan ile Cumhuriyetçi rakibi JD Vance arasındaki rekabet, birçok kişinin önceden beklediğinden daha sıkı görünüyor.
- Pennsylvania Senatosu Yarışı:Demokrat aday olan Lt. Gov. John Fetterman, felç geçirdiğinden beri yaptığı en kapsamlı röportajlardan birinde, Senato’nun kontrolüne karar verebilecek bir kampanyayı yönetme konusunda tamamen yetenekli olduğunu söyledi.
Bu noktaya kadar okuduğunuz şey, FiveThirtyEight’tan Nate Silver tarafından yazılan ve bu sonbaharda anketlerin yanlış olmayabileceğini savunan bir analizin denizcilik versiyonu. Parça benimkileri çürütmek için çerçevelenmiş olsa da, hiçbirine katılmıyorum. Okumanın tavsiye edildiğini düşünün.
En son anketimizden olumlu bir veri noktası: partiye göre yanıt oranları
2020’den sonra yapılan oylama ile fırtınadan sonraki gün yola çıkmak arasında büyük bir fark var: Denizci muhtemelen bir hava durumu tahminini bulabilir.
Anket hatası uyarıları almıyoruz, ancak geçen haftaki haber bülteni, olabildiğince yakın bir şeye işaret etti: Geçen sefer anketlerin Demokratları olduğundan fazla tahmin ettiği yerlerdeki şaşırtıcı Demokratik güç. Bu metaforun devam etmesine izin verirseniz, ufukta uğursuz bir bulut var. Kara bulutlar mutlaka şiddetli bir fırtına olacağı anlamına gelmez, ancak bir fırtına olacak olsaydı, önce bazı kara bulutlar görürdük. Benzer şekilde, eyalet anketlerindeki bu model, anketlerin iki yıl önce olduğu gibi hata yapıp yapmayacağını tam olarak görmeyi beklediğimiz şeydir.
Bu hafta, anketçilerin karşı karşıya olduğu koşulların yeni bir ölçümünü rapor edebilirim: En son Times/Siena anketimize Demokratların mı Cumhuriyetçilerin mi yanıt verme olasılığı daha yüksek?
Bunu 2020 sonbaharında sistematik olarak takip etmiyordum – bu verinin toplanması ve işlenmesi, özellikle de diğer her şey devam ederken her zaman kolay değildir. Ancak yanıtı taraf bazında takip ediyor olsaydım, bu başka bir uyarı işareti olurdu.
Eylül ve Ekim 2020 verilerimize baktığımızda, beyaz Demokratların Times/Siena anketlerine yanıt verme olasılığı beyaz Cumhuriyetçilere göre yüzde 20 daha yüksekti. Bu eşitsizlik büyük olasılıkla daha derin bir sorunu ele verdi: Partiden bağımsız olarak Trump seçmenlerinin anketlerimize yanıt verme olasılığı daha düşüktü.
Bu cephede iyi haberlerim var: Partilerin yanıt oranı bu döngüye kadar daha dengeli. Geçen hafta yayınladığımız ulusal ankette, beyaz Demokratların anketi tamamlama olasılığı beyaz Cumhuriyetçilerden yalnızca yüzde 5 daha yüksekti. Bu, tahmini bir Biden-Trump yarışmasına ilişkin erken anketimizin olası seçmenler arasında nihai sonuca ürkütücü bir şekilde yaklaştığı Ekim 2019 anketimizin seviyesine yakın. Bu savaş alanı devlet anketlerinde, aynı eyaletlerin sonbahar 2020 anketlerinde yüzde 23’lük bir farkla karşılaştırıldığında, beyaz Demokratların Cumhuriyetçilerden yüzde 6 daha fazla yanıt verme olasılığı vardı.
Bu iyiye işaret. Belki – sadece belki – geçen haftaki anketimiz, son döngülerdeki anketlerden daha yakındı.
Ama ya yine de yanlışsa?
Yine de, anketler aynı 2020 marjıyla tekrar kapanırsa ne olabileceğini hayal etmeye değer.
Kayıtlı seçmenler arasında geçen haftaki anketimizde Demokratlar yerine Cumhuriyetçiler iki puan önde olacaktı. Kesinlikle farklı bir yarış olurdu, ancak hikaye çok farklı okunmayabilir. Muhtemelen, genel bir kampanyanın başlangıcında yarışmayı hala oldukça rekabetçi olarak nitelendirirdik. Bu, dört puanlık bir hatanın Biden heyelanı ile oldukça rekabetçi bir yarış arasındaki farkı yarattığı 2020’den biraz farklı.
Bunu düşünürseniz, 2020 benzeri bir yoklama hatasının oldukça tolere edilebileceği birçok durum vardır. Amerikalıların yüzde 46’sının mı yoksa yüzde 50’sinin ekonominin fakir veya kötü olmaktansa iyi veya mükemmel olduğunu düşünmesi büyük bir fark yaratıyor mu? Peki ya Bay Trump, 2024’ün ön seçimlerinin erken bir testinde yüzde 54’te mi yoksa yüzde 58’de mi? Buna karşılık, yakın partizan seçimleri anketleri son derece hassas olabilir: Bay Biden’ın oyların yüzde 46’sına mı yoksa yüzde 50’sine mi sahip olduğu, son çarpıklık göz önüne alındığında, kesin bir sekiz puanlık zafer veya Bay Trump için açık bir zafer arasındaki fark olabilir. Seçim Koleji’nden.
Ayrıca, anketlerin at yarışını kaçırsalar bile değerli bilgiler içerdiğini de belirtmekte fayda var. Örneğin 2016’daki seçim öncesi anketler, Bay Trump’ın üniversite diploması olmayan beyaz seçmenler arasında büyük kazanımlar elde ettiğini gösterdi.
Ve son döngü, Bay Trump’ın Hispanikler arasındaki kazanımlarını gösterdiler. Anketlerin ortaya çıkardığı bu eğilimler ithalata devam ediyor. Hafta sonu kaçırdıysanız, meslektaşlarım bu çapraz tablolara dayanarak bu makalede Hispaniklere odaklanan anketimizin sonuçlarını analiz ettiler.
Alıntıdır