Sondajele proaste fac rău democrației

Imaginați-vă că ați mers la dentist pentru o durere teribilă de dinți. În timp ce are loc intervenția aruncați o privire în jur și observați că diploma de medic de pe perete e de la o universitate despre care știți că nu are facultate de stomatologie. Mai vedeți diplome cu specializări în raze divine și cure detox. Și chiar înainte să fugiți din cabinet, observați că medicul pare să aibă probleme de văz dar nu poartă ochelari. 

Nu e o introducere despre candidatul surpriză, CG, ci despre firmele care au făcut publice sondaje și exit-polluri pentru alegerile prezidențiale. Situația de mare risc în care ne aflăm acum are cauze multiple ce urmează să fie descoperite și analizate, însă de pe acum e clar că unul dintre factorii explicativi importanți ține de calitatea slabă a sondajelor politice de la noi. Voi explica de ce.

Sondajele de opinie au un rol important în democrație. „Lumina soarelui este cel mai bun dezinfectant; lumina electrică cel mai eficient polițist” spunea Louis Brandeis. Rezultatele unor sondaje de calitate, prezentate corect publicului și instituțiilor guvernării de presă, sunt ingrediente necesare într-o democrație funcțională. Sondajele aruncă lumină asupra preferințelor cetățenilor, iar politicienii și instituțiile au ocazia să reacționeze din timp. În același timp, informațiile despre cum sunt făcute sondajele fac mai clară precizia rezultatelor lor.   

Nu știu dacă CG ar fi luat voturi mai puține sau mai multe în cazul în care ar fi fost în atenția publicului larg cu câteva săptămâni în plus. Ce este clar este că o parte mare dintre voturi ar fi fost mai bine informate, iar procesul democratic ar fi avut de câștigat.

Erorile sondajelor au fost majore, fără corespondent în țările dezvoltate.

Într-o analiză sofisticată realizată cu câteva zile înainte de alegeri, profesorul Cătălin Stoica (SNSPA) oferea o predicție pornind de la cele 18 sondaje publice disponibile la acel moment. CG nu se afla între primii cinci candidați. De reținut disclaimer-ul din analiză: ”Rezultatele agregărilor mele nu pot fi mai bune decât materia primă (sondajele) pe care m-am bazat. La limită, vorba aia: gunoi bagi, gunoi iese (garbage in, garbage out, în engleză). Sau: „Am lucrat cu materialul clientului”.
Graficul de mai jos include toate sondajele prezidențiale publice identificate de Hotnews. Se observă că diferența între ultimul sondaj și rezultatul în alegeri e de 15%; chiar și între valoarea prezisă de trend și rezultatul votului sunt peste 10%.

Sursa: Hotnews, Ce arată sondajele pentru alegerile prezidențiale – Dashboard Alegeri 2024 – HotNews.ro

Explicația pe care o oferă institutele este că o mare parte dintre votanții lui CG au decis să nu își declare votul în sondaje și la exit-poll-uri. Sunt cunoscute cazuri de alegeri în care anumite categorii de votanți au proporții de non-răspunsuri mai ridicate de altele (ex. alegătorii lui Trump în 2020 în Statele Unite, votanții în favoarea Brexit la referendumul din 2016), dar e vorba de diferențe între media sondajelor și vot de 2-3%, nicidecum de peste 10%. Poate că sondatorii au dreptate și am avut un fenomen social în premieră în România, însă „extraordinary claims require extraordinary proof” (Carl Sagan, inspirat de David Hume care vorbea despre dovedirea miracolelor), și până acum nu am văzut niciun fel de dovezi. Chiar și dacă acest fenomen ar fi fost prezent, există tehnici de atenuare a lui în sondaje. Nu avem însă niciun semn că ar fi fost observat, și cu atât mai puțin să fi fost estimat/diminuat.

Merită observat și că cele două exit-polluri au avut rezultate cu câteva diferențe mari față de votul oficial de pe teritoriul României (fără votul din Diaspora), însă foarte apropiate între ele. În cazul lui CG, eroarea este de 6%, iar pentru Ciolacu de 5%. Reamintesc că erorile maxime pe care le au exit pollurile in alegerile prezidențiale sunt cel mai adesea sub 2%, iar frecvent sub 1%.
Luate împreună, o interpretare posibilă este că exit-pollurile au rezultate precise pentru votanții români care au acceptat să răspundă la întrebări (de aici sub-reprezentarea pentru CG). În mod paradoxal, problema este că rezultatele seamănă improbabil de mult între ele, și par să indice un ”fenomen de turmă” (herding), adică situația în care firmele au încercat să își valideze reciproce rezultatele, modificându-le pentru a fi apropiate. Aici o descriere a acestui fenomen, observat și în alegerile din alte țări.

Problema sondajelor prost făcute trebuie să rămână în atenția publică

Nu am deocamdată date sistematice care să arate o evoluție a mărimii erorilor sondajelor în timp, însă la o privire rapidă, trendul nu pare să fie unul pozitiv. Mâna invizibilă a pieței nu funcționează în cazul firmelor specializate în sondaje politice. O parte a problemei este că aceste firme sunt altele decât cele care fac preponderent sondaje pentru studii de marketing, și care au o motivație serioasă să își păstreze reputația pentru a atrage clienți. Erorile din sondajele politice nu par să conteze prea mult pentru televiziuni, partide și instituții publice, clienții principali ai firmelor de sondaje politice. Dacă parcurgeți site-urile acestor firme veți găsi informații sumare despre studii, finanțatori, echipe, și adesea cv-uri neconvingătoare pentru membrii echipelor.

Nici precizia comunicării rezultatelor în spațiu public nu e deloc o prioritate. Iată un exemplu din acest zile: o televiziune prezintă rezultatele unui ”sondaj intern realizat în ziua votului” de către INSOMAR, despre profilul votanților lui Călin Georgescu. Titlul este ”INSCOP: A fost ales de tineri. Doar 13% dintre alegătorii lui au studii superioare”.

În articol aflăm de la directorul INSCOP, Remus Ștefureac (vedeți cv-ul aici; vedeți cv-ul aici; de remarcat „Consilier al directorului  SRI, Doctorat la Academia Națională de Informații, și nimic despre domeniul sondajelor), că 31% dintre tineri l-au votat pe CG, față de 20% dintre votanții din țară. Nu aflăm însă nimic din articol despre volumul eșantionului—informație esențială pentru a ști care e marja de eroare–, iar studiul nu apare pe site-ul firmei. Nu aflăm nimic despre profilul votanților celorlalți candidați.

Cele mai multe sondaje au în jur de 1000 de subiecți. Daca acest ”studiu intern”, ar avea acest volum, atunci pentru cifra de 31% dintre tinerii votanți ai lui CG am avea un interval de încredere de (19%, 42%). Imprecizia ar fi prea mare pentru a putea spune (cu o șansă de 95%) că votul tinerilor pentru CG diferă de cel al restului populației.

Nu doar că acum se discută intens în spațiul public despre preferința tinerilor pentru CG pornind de la acest rezultat vag, dar subiectul a acoperit tema mult mai importantă a sondajelor politice care ne trimit în direcții greșite în momente cheie, cu costuri mari pentru jocul democratic.

Ce e de făcut?

În primul rând, ar fi util să știm mai multe despre aceste firme și despre relațiile lor cu partidele politice și cu ”instituțiile de forță”, precum și despre rezultatele prezentate în spațiul public de-a lungul timpului. Cercetători și jurnaliști de investigație ar putea să reia și să completeze această temă.

În al doilea rând, ar fi util un sistem de evaluare a calității care să fie gestionat de asociații independente formate din specialiști recunoscuți din România și din alte țări. Sunt multe organizații private non-profit care definesc standarde și oferă evaluări în domenii dintre cele mai diverse. ESOMAR este o astfel de organizație internațională pentru cercetare socială și de marketing, însă regulile lor de transparență sunt adesea încălcate de firmele membre din România. Ar merita evaluat ce poate fi făcut în plus, și definite reguli suplimentare privind calitatea culegerii datelor și a comunicării rezultatelor. Un exemplu românesc de la care se poate porni este cel al asociației Ad Astra, Asociația cercetătorilor români, care realizează/girează un clasament anual al universităților din România. Ad-Astra are membri din universități și institute de vârf din străinătate și din universități din țară, nu depinde de finanțări de la stat, adesea are poziții critice privind politicile științei, iar rezultatele clasamentului sunt larg acceptate. O astfel de organizație independentă ar putea oferi rating-uri gen Rotten Tomatoes pentru studii și organizații. 

Nu în ultimul rând, este necesar ca opinia publică să fie evaluată periodic, și mai ales înainte de alegeri, de organizații non-profit, inclusiv de echipe din universități. Sunt cu totul de acord cu ce spune profesorul Claudiu Tufiș (Universitatea București) într-o postare pe FB imediat după alegeri: ”Rezultatul a fost posibil și pentru că în societatea românească există o cerere mare pentru un astfel de politician. De ce? Aș fi putut să spun mai exact dacă aș fi avut ceva date de calitate despre ce vor romănii. Din păcate, nu avem. Ultimele date serioase sunt cele de la EVS/WVS de dinainte de pandemie. România nu are un sondaj de tip GSS, nu are un sondaj de tip Understanding Society, nu are un panel precum Polpan de la polonezi, nu mai are nici barometrul de opinie publică. Eu, personal, am eșuat în a convinge oamenii că merită să finanțeze un astfel de sondaj anual. Plătim și în acest fel faptul că cercetarea socială este ignorată în România.”