vineri, martie 29, 2024

Despre expertiză și experți în sondarea opiniei publice

Acest text a fost prilejuit de un interviu al domnului profesor Dumitru Sandu („Drumul eșecului în sondajele politice”) care a fost publicat de Contributors pe data de 24 iulie a.c. El nu reprezintă o replică polemică, ci exprimă interesul unui fost practician pentru domeniul în care a lucrat. De asemenea, reflectă acordul cu nevoia de consolidare a unor standarde de calitate recunoscute și riguroase precum și a unor mecanisme nepărtinitoare, obiective de certificare.

Îndemnul la „curățarea câmpului de buruieni” reprezintă mesajul central al interviului. Este un demers salutar și necesar, ce trebuie sprijinit și dezvoltat. Cu mențiunea că eu cred că suprafața de lucru e mult mai mare și se referă la mai multe „culturi”, înrudite și interdependente, și la recoltele culese în urma semințelor sădite precum și a supravegherii și îngrijirii fiecăreia.

Premisa principală este că institutele de cercetare performante sunt interesate de promovarea unor evoluții pozitive în cele două arii menționate (standarde de calitate, mecanisme de certificare), deoarece au mai mult de pierdut decât de câștigat dacă starea actuală de nediferențiere se impune ca normală.

Succesul într-un domeniu concurențial depinde într-o măsură importantă de diferențierea pozitivă, de poziția ocupată în ierarhia, construită obiectiv, a furnizorilor. Dacă o asemenea ierarhie nu există sau nu este funcțională, alocarea proiectelor se va face la întâmplare sau va fi guvernată de mecanisme clientelare. Fără nici un fel de beneficiu public!

Platforma care poate susține acest demers comun de clarificare se bazează pe buna credință și competența părților implicate (clienți, furnizori, experți auditori). Din faptul că niciuna din ele nu are și nu poate pretinde legitim un statut privilegiat rezultă că progrese sunt necesare în toate trei. Interviul se referă, convingător și aplicat, la reguli și criterii relevante pentru furnizori și clienți.

Nu contest meritele unei discuții de principiu, adică fără nominalizări ale reușitelor și eșecurilor. Dar cred că, dacă se va rămâne la acest stadiu, se vor multiplica efectele nefavorabile asociate neîncrederii, suspiciunii și etichetărilor negative generalizate.

Cred că soluțiile pentru validarea obiectivă a sondajelor de opinie publică, inclusiv setul de recompense (recunoaștere publică, poziție fruntașă în ierarhia furnizorilor, etc.) și sancțiuni (neincluderea în categoria furnizorilor confirmați), trebuie să vină în principal din interior. Experții aparțin, desigur, acestui grup. Iar relansarea, dar și schimbarea în bine a obiectivelor, activității și eficienței, Societății Române de Marketing și Cercetarea Opiniei Publice (SORMA) precum și promovarea standardelor și regulilor ESOMAR (European Society for Opinion and Marketing Research) ar fi pași necesari în direcția corectă.

Soluțiile vor fi, însă, nesatisfăcătoare dacă vor continua să existe „institute” care nu aderă la mecanismele agreate de certificare a calității. Acordul/ dezacordul cu instrumentele de verificare și validare oferă, cred, un prim criteriu de diferențiere și un reper în selecția furnizorilor de date de cercetare.

Până când se va ajunge la un acord competent majoritar referitor la standarde, instrumente există și pot fi folosite independent de oricare beneficiar al unor servicii de cercetare cu tematică socială sau politică. Ceea ce nu înseamnă acceptarea de către furnizori a improvizației, bunului plac sau dictatului.

Un exemplu, sper lămuritor, în această privință. O instituție publică majoră a lansat o licitație pentru o cercetare socială de amploare. Unul din criteriile de calificare era acordul cu transmiterea listei nominale a operatorilor de interviu. A fost o situație tipică de formă fără fond deoarece obiective respectabile (transparență, verificabilitate) au fost golite de conținut și, ajunse doar niște biete vorbe, au fost puse în slujba unei abordări incorecte. Cei care au contestat și respins, fără succes, din păcate, criteriul menționat au avut opțiunea corectă din punct de vedere profesional. Dar concluzia stupefiantă a beneficiarului – întemeiată pe decizia juriului licitației, care a menținut clauza respectivă – a fost că au ceva de ascuns! Iar institutele respective au fost eliminate din licitație.

Dar acesta nu a fost singurul efect. Mult mai costisitoare este transformarea unei solicitări abuzive într-un „exemplu de bună practică”, într-un precedent care, în ciuda falsei sale onorabilități, ar putea fi invocat în viitor.

Domnul profesor Sandu menționează accesul la microdate ca o soluție pentru certificarea calității datelor. Acceptarea transmiterii bazei de date anonimizate reprezintă un al doilea criteriu de diferențiere și un reper în selecția furnizorilor de date de cercetare.

Și în această privință este necesară respingerea improvizației, bunului plac și a dictatului.

Deși este un progres, accesul la microdate, inclusiv al unei terțe părți agreate contractual de furnizor și beneficiar („expertul în sondaje” menționat de domnul Sandu), nu epuizează problema. Nu am în vedere aici varianta logic posibilă (aceasta înseamnă că se poate întâmpla și nu că s-a întâmplat sau că eu cunosc și confirm asemenea practici) a manipulării chiar a setului de microdate, astfel încât să nu se poată constata distorsiuni în ceea ce privește, de exemplu, structura eșantionului sau durata interviurilor.

Referințele utilizate și criteriile ce întemeiază decizia de acceptare/ respingere reprezintă aspecte esențiale. Nu mă refer la validarea și, dacă e cazul, ponderarea eșantioanelor pe baza statisticilor socio-demografice oficiale, care sunt, în marea majoritate a cazurilor, neproblematice. Fără a intra în detalii, menționez faptul că construirea, pe baza altor cercetări, a unor etaloane (referințe pivot) este tehnic întrutotul posibilă, dar generează serioase probleme atunci când li se atribuie un rol excesiv. De exemplu, chiar dacă ar fi fost exacte, diversele „sondaje ale sondajelor” (CNN) se bazează pe presupoziții metodologice ce cred că nu pot fi validate.

Cele mai frecvente și grave erori se referă la culegerea și înregistrarea datelor. În acest context, propun un al treilea criteriu de diferențiere și alegere a furnizorului de sondaje de opinie publică. Mă refer la acceptarea de către furnizor a verificării activității de teren în prezența (reprezentanților) clientului. Aceasta ar urma să se desfășoare după ce furnizorul a finalizat procedurile interne de control al culegerii datelor. Afirmarea de către furnizor a desfășurării unor controale nu ar trebui să fie suficientă, deoarece asemenea confirmări declarative, adevărate în multe cazuri, dar false în altele, reprezintă o cauză importantă de nediferențiere și confuzie.

Directiva GDPR a produs multiple dificultăți, probabil neanticipate, în ceea ce privește activitatea de teren în cercetarea de piață și cea cu tematică politică. Vor exista furnizori care vor utiliza prevederile directivei pentru a bloca, fără a genera suspiciuni, accesul clientului la verificarea calității datelor. Consider că o asemenea conduită ar trebui să fie un semnal puternic de alarmă și să întărească, nu să slăbească, solicitările clientului de implicare în validarea calității culegerii datelor.

Aceasta nu înseamnă că aș fi de acord, în această privință, cu improvizațiile, incompetența, bunul plac sau dictatul.

Un exemplu referitor la validarea culegerii datelor. Un politician, care nu rata nici o ocazie să amintească că este și profesor de sociologie la o universitate din nord-estul țării – prin urmare, cu pretenții de expert, pretenții foarte probabil acceptate de un număr mai mic sau mai mare de persoane, multe de bună credință, dar și străine domeniului în discuție -, a formulat următoarele cerințe pentru „a avea încredere în sondaj”: 1. operatorii de interviu să fie însoțiți de reprezentanții săi și să realizeze interviurile în prezența acestora; 2. institutul de cercetare să-i transmită baza de date care să includă și datele de identificare ale persoanelor intervievate. Furnizorul de date a respins categoric solicitările abuzive și lipsite de profesionalism ale acestui posibil client. Din păcate, putem fi convinși, dar fără resemnare sau supunere, că posibilul client a crezut (și poate încă mai crede) că a dezvăluit și dovedit că neîncrederea sa era justificată!

Închei acest paragraf amintind faptul că există reguli de verificare exigente și recunoscute care fac ca tentativele de ascundere a erorilor să nu aibă șanse de reușită.

Cine sunt, ce fac și cum fac institutele de sondare a opiniei publice reprezintă întrebări legitime. La fel de îndreptățite sunt aceleași întrebări referitoare la experții în sondaje. Interviul mi-a creat impresia că li se acordă un statut preeminent și privilegiat, pentru că nu discută, chiar și numai succint, eventuale dificultăți și probleme.

Cred că există multe similitudini între cele două domenii (sondarea opiniei publice și experții în sondaje), atât în bine (acesta există), cât și în rău.

Cele spuse despre furnizorii de date se aplică și experților. Pentru a avea credibilitate, este nevoie de evaluări și confirmări exigente, nu de auto-desemnări. Altfel, există riscul alimentării unei piețe a experților artificiale și ineficiente pentru că e distorsionată și distorsionantă. Iar rolul constructiv dorit ar fi, astfel, ratat. Există, și în ceea ce îi privește pe experți, „lipsă de onestitate sau de profesionalism, sau și de una și de alta”. Este și aceasta una din similitudinile semnalate anterior. Falșii experți, la fel ca sondajele de opinie eșuate, pot genera ravagii!

Dar asemănările nu se sfârșesc aici. Lipsa de onestitate este dificil de identificat și, încă și mai mult, de dovedit. Iar strălucirea meritului tehnic, uneori doar o aparență, poate orbi și ascunde precaritatea morală. Cu efecte negative profunde, diverse și de durată!

Relația beneficiar – furnizor – expert nu este simplă sau lipsită de asperități. Dar aceste obstacole pot fi depășite. Aceasta înseamnă, printre altele, și respingerea argumentată a dictatului, oricare ar fi actorii configurației tripartite menționate care ar încerca să-l promoveze. În egală măsură costisitoare ar fi și coalizarea a două părți împotriva celei de-a treia, devenită firesc, dar nemeritat, subordonată.

Nu cred că suntem prizonierii unui fel de regres la infinit. Dar, pentru a ieși dintr-o asemenea spirală disfuncțională și generatoare de neîncredere generalizată, este nevoie de progrese semnificative și permanente în toate cele trei componente (beneficiar, furnizor, expert). Buna stare a fiecăreia este necesară, pentru că, altfel, întregul sistem nu poate supraviețui. În această privință, competența și onestitatea se impun ca exigențe majore. Pentru că doar ele fac posibilă, reluând metafora de la început, „separarea grâului de neghină” și, pe această bază, construirea unor relații reciproce echilibrate, exigente și corecte.

Referitor la alegerile prezidențiale din SUA, discuția despre sondajele preelectorale este, desigur, mai complicată decât această referință succintă.

Distribuie acest articol

3 COMENTARII

  1. 1. Scoala de sociologie romaneasca a fost distrusa de sistemul comunist. A aparut scoala sovietica aservita PCR. Ba daca imi amintesc bine (poate gresesc) in ultimii ani ai comunismului biruitor nu existatu locuri la specializarea sociologie la universitate.

    Cautind pe net am dat de asta:
    http://www.romaniacurata.ro/exclusiv-alegeri-in-intuneric-cine-controleaza-sondarea-opiniei-publice-actionari-cota-de-piata-analiza/
    Cu mentiunea ca articolul e din 2014, cu date din 2013 acolo unde sunt. O cautare pe net pe un site de verificare firme, IRES nu mai apare, desi are inca site.
    Ce vreau sa spun. Cu exceptia IMAS care e SA, dar un SA special cu Alin Teodorescu actionar majoritar, 53%, restul INSTITUTELOR sunt niste SRL-uri de apartament. De unde principii, de unde seriozitate, de unde rezultate credibile.
    Cele mai importante sondaje ce le produc sunt cele inainte de alegeri si exit-poll-urile, toate departe de adevar. Dar ele nu mai conteaza o data ce alegerile trec si se discuta rezultatele. Exit-poll-ul serveste la batut apa-n piua in studiourile tv de la inchiderea urnelor pina la primele rezultate.
    Iar cum de vineri noapte pina duminica seara la ora 21 campania electorala este interzisa, nu se mai publica nici un sondaj, asa ca de joi-vineri pina duminica cifrele ultimelor sondaje privind intentia la vot sunt deja uitate
    Nu se poate numi Institut o entitate economica cu 10-15-25 de angajati.
    Nu mai exista proprietatea termenilor.
    Dar vedeti, mijloacele media atunci cind dau publicitatii un sondaj incep din start cu o minciuna manipulatoare. „Dam publicitatii rezultatele sondajului privind influenta razelor de luna asupra pantofilor de guma” realizat la comanda noastra de catre Institutul de sondare si consultare publica X. „Uitind” sa spuna si SRL. Cum adica un Institut e un SRL? Da dragii mei, majoritatea sunt niste biete SRL-uri, cu nimic mai rasarite decit chioscul de la piciorul blocului unde stati sau cel din capatul strazi. Dar suna frumos, pentru toti, INSTITUT. SI mai ales, induce impresia de seriozitate, lucru bine facut si profesionist.
    Inainte de toate trebuie iesit din minciuna. Apoi, incet-incet, daca sunt profesionisti si se respecta pe ei si isi respecta meseria, vor apare si rezultate, co conditia sa le faca pe bune!

  2. Foarte utilă, domnule Mușetescu, intervenția dumneavoastră în dezbatere. Evident, ne aflam, prin conținutul textelor semnate, în relație de complementaritate. Polemică pe detalii , da, și este bine că e așa. Fie și numai experiența remarcabilă pe care o aveți, pentru mulți ani, în producerea datelor din sondajul Eurobarometru pentru România oferă credibilitate punctelor de vedere pe care le susțineți.
    Ecuația pe care o propuneți este cu trei termeni – furnizor de date, beneficiar și expert . Pe cercetare de marketing, strict – mai ales dacă vizează aspecte comerciale – așa este. Dacă vrem să schimbăm lucrurile , însă , în domeniul sondajelor de opinie pe tematică electorală sau politică, atunci lucrurile sunt diferite. Datele ajung la consumatorul public, la populație , prin mass-media. Diferitele canale media sunt, frecvent, asociate cu partidele politice ca beneficiari direcți ai sondajelor. Dacă la nivel de beneficiar contractual-canale media nu există exigența necesară, legată de calitatea și credibilitatea datelor, efectele publice vor fi ,sigur, negative. Cum faci să reduci propensiunea ”beneficiar politic-canal media aservit politic” de a difuza date de sondaj artificiale care au mai mult valoare ideologică decât științifică? Evident, soluție miracol nu există. Asigurarea transparenței modului de producere, analiză și validare a datelor este esențială. Despre ce transparență vorbim, însă, aici și acum, atâta vreme cât datele de sondaj care ajung la public sunt , majoritar,nespecificate pe categorii socio-demografice, necomparate cu cele din populația din care a fost extras eșantionul, cu microdate secrete, fără control încrucișat la teren referitor la modul de aplicare a chestionarului, fără vreo certificare a producătorilor de date prin asociații profesionale de specialitate etc. (Aproape) totul merge pe o logică de tipul ”crede și nu cerceta”. De aici și eșecul multora dintre predicțiile electorale.

    • Vă mulțumesc, domnule profesor Sandu, pentru comentarii. Consider că media aparțin grupului beneficiarilor și reprezintă, în pofida specificităților reale de statut și rol, doar un caz particular. Cel puțin în contextul interpretării mele, media sunt un detaliu ce nu justifică o tratare de sine stătătoare. De asemenea, nu ele joacă rolul principal în chestiunea datelor invalide. În fond, nu ele au produs aceste date. Publicarea de către unele media – și aici există diversitate – a unor sondaje de opinie publică neverificate sau neconforme cu standardele de raportare este consistentă cu tratarea de către acestea a multor altor informații. Dar aceasta reprezintă o altă problemă. La fel și chestiunea influenței reale, nu presupuse sau declarate, a media.
      Cred că distincția cercetări de piață – sondaje de opinie publică nu este întemeiată. Cele două au aproape totul în comun și doar puține caracteristici specifice, dar și acelea marginale dacă discutăm – ceea ce am considerat tema principală – despre validitatea și validarea datelor.
      Dacă ar fi să-l descriu succint, aș spune că textul pe care l-am trimis la Contributors reprezintă o pledoarie pentru competență și onestitate în toate cele trei componente (furnizor de date, beneficiar, expert auditor), nu doar în unele din acestea. Cred că doar astfel se va ajunge la un rezultat fericit!

LĂSAȚI UN MESAJ

Vă rugăm să introduceți comentariul dvs.!
Introduceți aici numele dvs.

Autor

Andrei Musetescu
Andrei Musetescu
Andrei Mușetescu (1953, București) Sociolog. Activitate: Cercetări de piață, studii media, cercetări cu tematică socială și politică.

Sprijiniți proiectul Contributors.ro

Pagini

Carti noi

 

Cu acest volum, Mirel Bănică revine la mai vechile sale preocupări și teme de cercetare legate de relația dintre religie și modernitate, de înțelegerea și descrierea modului în care societatea românească se raportează la religie, în special la ortodoxie. Ideea sa călăuzitoare este că prin monahismul românesc de după 1990 putem înțelege mai bine fenomenul religios contemporan, în măsura în care monahismul constituie o ilustrare exemplară a tensiunii dintre creștinism și lumea actuală, precum și a permanentei reconfigurări a raportului de putere dintre ele.
Poarta de acces aleasă pentru a pătrunde în lumea mănăstirilor o reprezintă ceea ce denumim generic „economia monastică”. Autorul vizitează astfel cu precădere mănăstirile românești care s-au remarcat prin produsele lor medicinale, alimentare, cosmetice, textile... Cumpara cartea de aici

Carti noi

În ciuda repetatelor avertismente venite de la Casa Albă, invazia Ucrainei de către Rusia a șocat întreaga comunitate internațională. De ce a declanșat Putin războiul – și de ce s-a derulat acesta în modalități neimaginabile până acum? Ucrainenii au reușit să țină piept unei forte militare superioare, Occidentul s-a unit, în vreme ce Rusia a devenit tot mai izolată în lume.
Cartea de față relatează istoria exhaustivă a acestui conflict – originile, evoluția și consecințele deja evidente – sau posibile în viitor – ale acestuia. Cumpara volumul de aici

 

Carti

După ce cucerește cea de-a Doua Romă, inima Imperiului Bizantin, în 1453, Mahomed II își adaugă titlul de cezar: otomanii se consideră de-acum descendenții Romei. În imperiul lor, toleranța religioasă era o realitate cu mult înainte ca Occidentul să fi învățat această lecție. Amanunte aici

 
„Chiar dacă războiul va mai dura, soarta lui este decisă. E greu de imaginat vreun scenariu plauzibil în care Rusia iese învingătoare. Sunt tot mai multe semne că sfârşitul regimului Putin se apropie. Am putea asista însă la un proces îndelungat, cu convulsii majore, care să modifice radical evoluţiile istorice în spaţiul eurasiatic. În centrul acestor evoluţii, rămâne Rusia, o ţară uriaşă, cu un regim hibrid, între autoritarism electoral şi dictatură autentică. În ultimele luni, în Rusia a avut loc o pierdere uriaşă de capital uman. 
Cumpara cartea

 

 

Esential HotNews

contributors.ro

Contributors.ro este intr-o permanenta cautare de autori care pot da valoare adaugata dezbaterii publice. Semnaturile noi sunt binevenite cata vreme respecta regulile de baza ale site-ului. Incurajam dezbaterea relaxata, bazata pe forta argumentelor.
Contact: editor[at]contributors.ro