Winna metodologia?

by Kamil M. Kaczmarek
Published on: 22 czerwca 2010
Comments: 1 Comment
Tags: No Tags
Categories: Notatki z lektur

Ten post przeczytano już1296razy.

Przypomnijmy fakty:

Kandydat Wynik realny Prognoza wyborcza Prognoza z ostatniego dnia przed ciszą wyborczą
PKW TNSOBOP (TVP) SMG KRC (TVN) Homo Homini(Polsat) PBS DGA (GW)
Komorowski 41.54 41,2 45,7 44,5 51
Kaczyński 36.46 35,8 33,2 34,3 33
Napieralski 13.68 13,5 13 13,5 9
Korwin-Mikke 2.48 3 2,3 1,9  

Rozbieżności na pierwszy rzut oka nie wydają się ogromne (bywały już większe wpadki), gdyby nie to, że w przypadku pierwszych trzech badań chodzi nie o prognozę, tutaj taki błąd można by wybaczyć, a o rejestrację aktualnych zachowań. W przypadku trzeciego z badań, prognozy, błąd jest jednak znacznie większy. Przed ogłoszeniem oficjalnych wyników wyborów narzucała się natrętna myśl, że ogłoszone wyniki są jakoś dziwnie zbieżne z "linią polityczną" medium zamawiającego. Pod tym względem TVP została jednak uniewinniona przez PKW

Zarówno zlecające badania media jak i sami autorzy badań tłumaczą, że zawiniła metodologia. Homo homini na swej stronie nie podaje jakiej metody użyło, więc mogło to być równie dobrze wróżenie z fusów. Metody nie podała też Wyborcza, choć na stronie PBS można się dowiedzieć, że zastosowano sondaż telefoniczny (CATI), ale na jakiej i jak dobranej próbie?. TVN podało, że w ich badaniach posłużono się metodą sondażu telefonicznego na próbie (losowej?) 6000 os.  Możliwe, że jedynie OBOP zastosował exit pool.

Niezależnie od zastosowanej metody, zrzucanie na nią winy jest skandalicznym mydleniem oczu. Wady zastosowanej w badaniach ankiety telefonicznej są znane każdemu studentowi socjologii, a nawet każdemu obserwatorowi życia publicznego, który nie raz miał okazję przekonać się jak się mają ich wyniki do rzeczywistości wyborczej. Jeśli więc nie znali ich kierownicy pracowni badań, to są bandą szarlatanów. Jeśli znali a nie powiadomili o tym zamawiających – są bandą oszustów. Jeśli znali i powiadomili, to zamawiające media nie mają wiele wspólnego z dziennikarską rzetelnością i niezależnością, a sondaże są wyłącznie narzędziem manipulacji. Ale również w tym wypadku z ośrodków "badawczych" nie spada odpowiedzialność . Czy rzetelny rzemieślnik podejmie się zleconego zadania, jeśli wie, że przy pomocy narzędzi, którymi dysponuje nie będzie potrafił go skutecznie wykonać? Co powiemy o lekarzu, do którego przychodzi chory ze złamaną ręką, a on nas leczy maścią? Czy będzie go można nazywać profesjonalistą wówczas, gdy sam chory wyrazi życzenie takiej właśnie terapii?

Zrzuca się czasami winę na wyborców – cechują ich ponoć  zmienność przekonań. Ale to nie dotyczy sondaży z dnia wyborów! Stworzono nawet mit, że część wyborców decyduje na urną. Czy mnie pamięć nie myli, czy jedynym "dowodem" na takie zachowania jest właśnie niezgodność sondaży z rzeczywistością? Dzisiaj mit ten – jak sądzę – został definitywnie odczarowany, ośrodki badały bowiem wyborców właśnie "nad urną".

Twierdzi się, że wyborcy ukrywają swoje preferencje odmawiając rozmowy. Ale gdyby to były rzeczywiście ośrodki badawcze, a nie sprzedawcy wygodnych wyników, to dołożyłyby wszelkich starań, aby poznać powody tego ukrywania, oszacować możliwe zachowania tych wyborców na podstawie choćby dotychczasowych zachowań wyborczych i uwzględnić to w ostatecznej prognozie. A przede wszystkim, sprzedawałyby by telewizjom prognozy, a nie "wyniki". Wygląda na to tymczasem, że ich działalność nie ma nic wspólnego z jakąkolwiek refleksją socjologiczną, jest to toporne wrzucanie wyników ankiet do komputera i zbijanie dużej kasy na sprzedaży wydruków.

W tłumaczeniach, jakie słyszymy od jednej z sondażowni pojawiają się informacje rzucające nieco światła na sprawę. przypominam, że w badaniach SMG KRC wynik dla J. Kaczyńskiego był niedoszacowany o 3.2%, podczas gdy wynik Komorowskiego był przeszacowany o 4.2%. Po pierwsze nie mogło więc być tak, że po prostu ci, którzy głosowali na Kaczyńskiego deklarowali, że głosują na Komorowskiego. Okazuje się, że po prostu odmawiali odpowiedzi. "Odpowiedzi ankieterom SMG/KRC odmówiło 7 procent badanych, tj. 420 osób. Brak odpowiedzi też był wliczany do badania. Głosy po równo dzielono między kandydata PO i kandydata PiS. – Okazało się, że osoby odmawiające były silnie ukierunkowane, pochodziły z obozu PiS. Można powiedzieć, że nie podzielili się oni z nami, na kogo glosowali – wyjaśnia szef działu badań telefonicznych MB SMG/KRC Wojciech Hołdakowski." (tvn24.pl). Odliczając Komorowskiemu i doliczając Kaczyńskiemu 3.5% wyniki rzeczywiście zbliżone do rzeczywistych (z błędem 0,66 u Komorowskiego i 0,24 u Kaczyńskiego).

Sam zabieg "równego obdzielenia głównych kandydatów" jest rażąco arbitralny. Dlaczego nie doliczyć cząstki do Andrzeja Leppera, którego wyborcy również mieli powody by się nie ujawniać ze swymi preferencjami? Na tej zasadzie któraś pracownia może sobie równie arbitralnie doliczyć wszystkich nierespondentów do dowolnego "głównego kandydata" i uzyskać dowolny wynik. Zabieg ten jest o tyle zaskakujący, że już we wcześniejszych wyborach słyszeliśmy wnioski (i stało się to elementem wiedzy potocznej), że wyborcy PiS częściej odmawiają odpowiedzi. Przede wszystkim jednak, zabieg ten był manipulacją dlatego, że o nim nie poinformowano. Należało uwzględnić tę informację w szacowaniu błędu, tymczasem SMG KRC  "Deklarował margines błędu do 2,8 punktu procentowego."(tvn24.pl)

Chętnie wysłuchałbym tłumaczeń PBS na temat tych 51%:33%, bo to już zakrawa na jawną polityczną manipulację.

Swoją drogą, korci mnie by postawić hipotezę, że ośrodki te nie są bez winy jeśli chodzi o liczbę nierespondentów. W okresie kampanii mieliśmy przecież kilka sondaży tygodniowo. Do tego dochodzą liczne sondaże niepolityczne, komercyjne. Telefonując do respondenta ankieter stawia się w jednym szeregu z dziesiątkami akwizytorów i telemarketerów chcących nas poinformować o "wyjątkowo korzystnej usłudze" jaką ma dla nas taka czy inna sieć telefoniczna czy bank. Część osób po prostu odmawia marnowania ich czasu na rozmowę z obcą im osobą (stąd ryzykowny wydaje mi się pomysł sztabu PiSu stworzenia własnego call-center). Po tym jak raz czy drugi zmarnowałem kilka minut na wysłuchiwanie długiej listy nudnych – przede wszystkim dlatego, że mnie nie dotyczących – a czasami co gorsza, zupełnie głupich pytań (tak! wbrew sloganowi są głupie pytania), wcale się tym nierespondentom nie dziwię.

Co mnie to wszystko obchodzi? Sam jestem wyłącznie niezaangażowanym konsumentem tego typu badań, a jednak zła fama, jaka w coraz większym stopniu przylega do tych pracowni (proszę przejrzeć tytuły dzisiejszej prasy "Blamaż", "Porażka", "Kompromitacja") w pewien sposób dotyka też wszystkich socjologów (choć  tego typu badanie opinii publicznej nie jest socjologią i ma z nią tyle wspólnego,  co rusznikarstwo ze strzelectwem). Oznacza, to, że również niekomercyjne badania naukowe będą musiały w coraz większym stopniu natrafiać na mur niechęci respondentów. Sam SMG/KRC informuje, że "w Polsce coraz liczniejsza jest grupa osób odmawiających odpowiedzi na pytanie ankietera. W dużych miastach dochodzi nawet do 80 proc.!)(DGP) Już przy 10% badanie traci jakąkolwiek reprezentatywność, a w niektórych przypadkach staje się bezwartościowe przy ich znacznie niższym poziomie.

Sondaże wyborcze mają to do siebie, że jako jedyne sondaże polityczne ich trafność jest w krótkim czasie bezwzględnie weryfikowana. Tymczasem co tydzień zalewają nas dziesiątki sondaży, których jakości nikt nie jest w stanie sprawdzić (oprócz ich wzajemnego porównywania)! W jaki sposób są one przeprowadzane, gdy pracownie nie czują presji takiej weryfikacji? Sądzę, że przedwyborczy sondaż PBS daje o tym pojęcie. 

Nie liczę na to, że firmy te zostaną wyeliminowane przez rynek, gdyż w naszej rzeczywistości można spodziewać się, iż długo jeszcze znajdywać się będą media chętne do manipulowania czytelnikami przy pomocy tego typu pseudosondaży, oraz pracownicy firm, którzy będą takie zamawiać jedynie by wykazać się aktywnością przed przełożonymi.

Mimo wszystko można jednak dojrzeć pewne pozytywne strony tej sytuacji: badania sondażowe nie tylko się kompromitują, ale z racji "zużycia materiału" czyli wzrostu liczby nierespondentów stają się po prostu niemożliwe, co może skłoni socjologów do posługiwania się mniej inwazyjnymi metodami, albo wynalezienia nowych. Już teraz jednak osiągnęliśmy pewną dodatkową wiedzę, nie tyle o wyborcach, co z dziedziny metodologii. Pozostaje mieć nadzieję, że choć jej część trafi do zwykłych wyborców.

(274)

VN:F [1.9.22_1171]
Rating: 10.0/10 (1 vote cast)
VN:F [1.9.22_1171]
Rating: 0 (from 0 votes)
Winna metodologia?, 10.0 out of 10 based on 1 rating
1 Comment - Leave a comment
  1. Flisz napisał(a):

    Gratuluję,
    spostrzeżenia trafne.

    VA:F [1.9.22_1171]
    Rating: 0.0/5 (0 votes cast)
    VA:F [1.9.22_1171]
    Rating: 0 (from 0 votes)

Leave a comment

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *


*



Ostatnie strony
Follow Me
FacebookGooglePlusTwitterYoutube
Najczęściej czytane posty
  • No results available

Welcome , today is środa, 20 września 2017