Acum două luni, la conferința anuală a AERA (American Educational Research Association) din San Antonio, Texas a avut loc o prezentare legată de noutățile pe care le aduce noua variantă a standardelor în evaluare din educație (publicate în 2014). Unul dintre prezentatori spunea că tradițional, de mai bine de 4 decenii s-a ținut cont în evaluarea elevilor doar de validitatea și fidelitatea măsurătorilor; dar că standardele din 2014 au adus un element de noutate foarte important într-o eră a globalizării: echitatea (fairness) în evaluare. Ascultând discursul, nu m-am putut abține să nu îmi imaginez cât de avansat ar fi sistemul de învățământ românesc dacă științele educației din România și-ar pune problemele pe care și le puneau cei din SUA acum 43 de ani, când a fost publicată prima ediție a standardelor (ca să nu mă raportez la recomandările tehnice de evaluare publicate în 1955, pentru că ar fi prea tragic).
Dar hai să vedem la ce se referă fidelitatea și validitatea în contextul examinării de la bac (despre echitate orice discuție cred că e mult prea avangardistă în acest moment):
Validitatea se referă la măsura în care un examen evaluează ceea ce-și propune. Adică, să presupunem că vrei să compari greutatea a doi elevi și le ceri să se urce pe cântar. Înainte să îi lași să facă asta, le ceri să-și dea jos ghiozdanele din spate (care chiar dacă arată la fel de pline, unul poate fi plin cu cărți și cântărește 10 kg, iar altul poate conține o haină cu puf care cântărește 1 kg). Dacă nu faci asta, măsurătoarea riscă să fie invalidă (nu măsori doar greutatea elevilor ci și conținutul ghiozdanului).
În contextual evaluării orale de la bacalaureat, examinarea măsoară pe lângă abilitățile elevilor de exprimare orală, o serie de alți factori, cum ar fi:
a. Încrederea în sine și/sau abilitatea de control a emoțiilor și/sau nivelul anxietății elevilor. Comisiile de evaluare pot fi mai mult sau mai puțin intimidante pentru elevi, în funcție de paticularitățile individuale ale elevilor și/sau atitudinea membrilor comisiei față de elevi. Oare răspunsul unui elev nu poate varia considerabil în funcție de privirile membrilor comisiei? Sau de nivelul anxietății elevului?
b. Accentul și/sau aparteneța etnică a elevilor. Oare un elev maghiar va avea aceleași șanse la o evaluare corectă în fața unui evaluator cu convingeri ultra-naționaliste comparativ cu colegii lui români?
c. Ținuta/aspectul elevilor. Dacă elevul are norocul să provină dintr-o familie înstărită și/sau părinții au gusturi vestimentare bune, și/sau dacă trăsăturile fizice îl avantajează, e dificil de crezut că unii dintre profesorii evaluatori să fie influențați (inconștient) de aceste detalii? Aici nu vreau să sugerez că profesorii evaluatori ar fi lipsiți de integritate profesională. Cei care au cunoștiințe minime de psihologie (sau au urmărit câteva episoade relevante din ”Mind Games”) știu că deciziile pe care le iau oamenii sunt deseori influențate de factori pe care nu îi conștientizează.
d. Posibilele relații/cunoștiințe. Evaluarea orală nu este anonimă. În acest caz, de unde știm că mătușa unui elev care este examinat nu i-a făcut cândva o favoare unuia dintre profesorii din comisia de examinare care acum are ocazia să returneze favoarea?
Factori precum cei de mai sus reprezintă itemii cu greutate variabilă din ghiozdanele elevilor. Atât timp cât elevii sunt cântăriți cu ghiozdanele în spate, nu au șanse la o evaluare validă a greutății lor.
Și ca să nu se înțeleagă greșit: dezvoltarea abilității de comunicare orală în școală este extrem de binevenită (iar intenția articolului nu este de a submina importanța acesteia). Însă, aceasta se poate realiza eficient dacă profesorii își propun în planurile de lecții să o facă intenționat la ore, iar evaluarea acesteia se poate face formativ, pe parcursul școlarizării. Aceste abilități se dezvoltă (și din fericire am cunoscut mulți profesori talentați care fac acest lucru la clasă) în timpul orelor, indiferent dacă examinarea orală la bac este obligatorie sau nu. La fel cum există și situații nefericite în care elevilor nu li se dă voie să scoată un cuvânt la ora de română, de exemplu, iar apoi se așteaptă de la ei să aibă performanțe superioare la evaluarea abilităților de comunicarea orală în limba română la bac.
Dar unii s-ar întreba: Avem dovezi științifice care să arate că obligativitatea examinării orale la bac duce la creșterea semnificativă a competenței de comunicare verbală a elevului din România? Sau elevii din alte țări care nu sunt evaluați oral la final de liceu au competențe de comunicare orală semnificativ inferioare elevilor români? Oare examinarea orală obligatorie nu ar putea dezavantaja (de exemplu) un elev olimpic internațional la matematică introvert sau cu Asperger? Rezultatul examinării ar reprezenta un diagnostic corect al potențialului său sau o diluare inutilă a performanțele sale deosebite la matematica? Oare scopul bac-ului este de a tăia șanse sau de a crea oportunități?
Fidelitatea se referă la măsura în care o examinare va duce la obținerea aceluiași rezultat chiar și după măsurători repetate. Iar aici, cel mai elocvent exemplu este creșterea dramatică a promovabilității la bac în ultimii 5 ani. Ce înseamnă acest lucru? Că noile generații de elevi sunt din ce în ce mai bine pregătite sau subiectele (și baremele) facilitează obținerea unor note mai bune? (întrebare retorică). Aceste rezultate sunt indicatori foarte clari ai lipsei de standardizare în evaluarea națională, iar dacă ai avut ghinionul să dai bac-ul în 2012…Sau în cazul examinării orale, dacă același elev va mai fi evaluat a doua zi cu alte subiecte, va mai primi o notă similară? Sau este posibil ca unii elevi să obțină o notă mai bună ”din noroc”, însă dacă ar fi examinați a doua zi, nota primită să fie mai slabă? Problema este că nu avem nici un indicator care să arate că înainte de administrare, subiectele de la bac au fost pilotate pe o populație reprezentativă și rezultatele acestora au fost corelate (și nici nu ai avea cum să faci asta, la cum sunt construiți itemii). În plus, este aproape imposibil să construiești multiple forme paralele de subiecte cu fidelitate ridicată din 2-3 itemi (cum este cazul examinării orale). Fidelitatea crescută a instrumentelor de evaluare garantează faptul că elevul va fi evaluat corect, indiferent de ghinionul sau norocul pe care îl are în acea zi.
Aceste probleme nu sunt noi, și au fost semnalate ocazional. De exemplu, studiul OECD privind evaluarea și examinarea în domeniul educației din România publicat anul acesta indică fără echivoc faptul că Centrul Național de Evaluare și Examinare ”prezintă lipsuri tehnologice semnificative la nivelul gestionării și analizei datelor, dar și a conceperii testelor” (pg. 93). Dar așa cum am mai spus aici, situația este mai complexă și arătând cu degetul către un centru cu resurse limitate nu rezolvă nimic. Dacă intuirea problemelor este facilă, conceptualizarea lor este uneori mai dificilă. Aceasta este sarcina specialiștilor în științele educației, care, în ciuda problemelor persistente de mai multe decenii legate de validitatea și fidelitatea instrumentelor de evaluare, nici în ziua de azi nu le semnalează argumentat științific în spațiul public (petiții, luări de poziții oficiale etc). Există mai multe ipoteze care ar putea explica acest fenomen. Una ar fi lipsa de interes și/sau inițiativă și/sau capacitate de organizare (ancorată în mentalitatea colectivistă de dat din umeri și găsit scuze de genul ”Păi, cine, eu să zic asta?” sau în structura social ierarhică ce produce la vârf dictatori care îi penalizează pe cei care ar avea inițiative ”Da` cine te crezi tu să comentezi…?”). Alții au rezolvat aceste probleme dând naștere la grupuri de cercetare eficiente din universități, la asociații profesionale (de genul AERA, care s-a înființat în 1916) sau la ONG-uri care ocazional își exprimă public poziția atunci când există derapaje. O altă ipoteză ar fi lipsa de competență, în ciuda bunăvoinței și a interesului pentru dezvoltare. Alții au rezolvat această problemă ”împrumutând” specialiști din alte părți (așa cum fac universitățile de top care au constant invitați profesori de la alte universități). Chiar rapotul OECD recomandă ca examinările naționale să ia în considerare colaborarea cu ”unul sau mai mulți experți internaționali astfel încât activitatea CNEE să fie în pas cu evoluțiile mondiale” (pg. 29). Cu alte cuvinte, OK, înțelegem că nu aveți specialiști, dar importați câțiva din țările care știu ce înseamnă să fii expert în evaluare educațională. O altă ipoteză ar fi lipsa de competență asociată cu aroganța (iar despre relația dintre aroganță și incompetență am mai scris aici ).
Indiferent de motive, problemele persistă de decenii bune. Ziua în care aceste probleme vor fi înțelese va fi ziua în care evaluarea din învățământul românesc va începe să aibă o șansă de ameliorare. Până atunci, fiecare an în care România nu oferă elevilor săi condiții standardizate de evaluare folosind instrumente validate științific, reprezintă un alt an în care România compară greutatea elevilor săi în timp ce aceștia poartă ghiozdanul în spate, riscând să taie șansele unor elevi cu potențial ridicat.
Notă: Pentru cei care nu sunt în domeniu, dar sunt interesați de relevanța conferinței anuale a AERA: Este cea mai mare conferință pe științele educației din lume. Anual adună aproximativ 15,000 participanți. Anul acesta au fost aproximativ 13000 de propuneri, și aproximativ una din cinci a fost acceptată pentru prezentare. Fiecare propunere a fost evaluată anonim de 3 evaluatori. În ciuda numelui, nu se adresează doar specialiștilor din SUA, ci este internațională. Conferința este organizată de AERA, care a fost înființată în 1916 de 8 profesori (șefi de departmente la catedre de științele educației). Azi are peste 25.000 membri.
Aikido cu mintea si corpul coordonate. Invatati cum sa va relaxati si cum sa va pastrati calmul in conditii de stress. 
Foarte posibil ca intr-o mica masura sa fie asa cum spuneti dumneavoastra.
Din pacate, in marea majoritate a cazurilor elevii ajung la cantar fara „ghiozdan”, iar diferentele sunt date de greutatea cunostintelor pe care le au in cap…
Domnule Dodean va garantez eu ca in Romania poti sa fii tigan sau ungur sau arab sau orice nationalitate, nota o vei primi la bac pe stiinta. imbracamintea trebuie sa fie decenta. Asa a fost dintotdeauna si asa va fi. Iar vis-a-vis de punctul d) de la validitate, au fost sunt si vor exista PILE atat timp cat vom gandi si vorbi in limba romana. Cu alte cuvinte ”pila-cunostinta-relatia” este o caracteristica intrinseca a poporului roman. Daca n-ar exista atunci vorbim de alt popor. Pe expertii internationali ii platim degeaba, nu ne pot schimba.
Sa zic si de fidelitate ceva. Norocul la subiecte a existat si va exista. Nu poti testa in 3 ore completitudinea cunostintelor acumulate in 4 ani. In nicio tara din lume nu se poate. Sigur ca vor exista diferente intre gradul de dificultate al subiectelor din diferite generatii. E normal. Daca subiectele la fizica ar avea dificultatea celor date la medicina 1988 aproape sigur n-ar exista nicio nota maxima in toata tara. Subiectele atunic (1988) aveau un gr. de dificultate sporit deoarece concurenta era acerba (peste 20 concurenti/loc). La BAC trebuie sa treaca cat mai multa lume. Facultati precum SNSPA, romano-americana, Spiru Hraret, etc au nevoie de studenti.
Desigur ar fi bine sa se efectueze o evaluare cit mai obiectiva si mai dreapta.
Pe de alta parte insa, viata nu e dreapta, diferitele particularitati, ca talent de orator, aspect fizic, timiditate sau indrazneala, curaj s.a.m.d, joaca un rol covirsitor in reusita in viata.
E suficient sa privim ultimii presedinti ai Americii, sau marii sefi de concerne, mai toti sunt prezentabili, buni oratori, indrazneti si nu stiu sa fi fost premianti.
Citi oare din preminati, din cei care au nota max. la Bac, reusesc in viata si invers, citzi dintre codasi, repetenti au cariere fulminante!? Nu de putine ori rezultatele deosebite din scoala te „obliga” sa alegi o cariera intelectuala, cariera, care de multe ori, ajunge pe un drum de lemn.
Asta nu e, in nici un caz, un argument pt. neglijarea scolii, cum se spune cine nu are nici un talent, nimic deosebit sa se faca inginer, ca mine!
Pe malurile Dambovitei se obisnuia sa se spuna ca evaluarea face parte din predare :-)).
Evaluarea era considerata o sarcina dificila. Metodicile insa fiind stabile si insotind manuale stabile si clare, se mai indulcea din dificultatea evaluarii.
In prezent, ceea ce este foarte bine este ideea care circula precum ca evalurea momentana reflecta invatarea momentana si, prin urmare, evaluarea finala nu este si nu trebuie sa fie suma evaluarilor momentane,
O alta parte buna este flexibilitatea programelor, chiar daca nu toate sunt foarte bune. As da drept exemplu negativ aici programele XI-XII, mult sub nivelul celor din gimnaziu (ca abordare, continut, recomandari).
Dar cam aici se termina dupa mine partea buna.
====
In Romania evaluarea vizeaza confirmarea formalismului.
Adica, daca socialistii nostri si-au propus sa vanda diplome, ei trebuie sa faca vanzarea in asa fel incat sa abata atentia de la… fix caracteriesticile ei definitorii. Cele descrise in articol, adica.
=====
Principala problema a reformei educatiei din Romania este ca nu este posibila decat impreuna cu o trecere de la actualul socialism la o politica favorabila capitalismului.
Asta, pentru ca exista nenumarate conexiuni ale educatiei cu alte zone economico-sociale. Daca lasi restul aproape neschimbat, nu are sens sa modifica educatia, pentru ca ea asa cum este in prezent raspunde perfect cerintelor unei societati socialiste.
Evaluarea este si ea parte din educatie. Nu se pune in nici un caz problema „oul sau gaina’ in aceasta relatie din simplul motiv ca trebuie schimat concomitent si oul si gaina. Impreuna cu toate celelalte oua si gaini.
===
In prezent dilema s-a acutizat (!): este imposibil sa imbunatatesti evaluarea fara sa pierzi din absolventi.
Ori, toata lumea vrea procente mari de promovabilitate. Care nu se pot atinge cu subiecte dificile.
Nici nu ar fi corect sa evalueazi agresiv la Bac: nu poti sa tampesti copiii 12 ani si la final sa te miri ca ti-a reusit si sa-i faci tot pe ei vinovati.
Pe de alta parte, cat timp simpla predare este primitiva in multe cazuri, nu te poti astepta ca evaluarea sa fie geniala.
Dar predarea la randul sau este compromisa, pentru ca de fapt nimeni nu cere cunostinte, ci doar diplome. Se cer doar diplome pentru ca mediul socio-economic romanesc nu este favorabil initativei private si se gudura la picioarele lui Marx, sub privirea de dincolo a lui Mussolini.
Autorul e bland cand vorbeste (in termenii utilizati idneobste in SUA) despre „colectivism”.
Sa ne imaginam ca o Zana binevoitoare face din evaluarea la Bac una dintre cele mai performante si mai profesioniste din lume, chiar din 2018.
Sa ne imaginam si ce urmeaza: promovabilitatea la Bac scade la 20%. Din cei care se prezinta (si aici e o mica-mare problema). Evident, reluarea bacului in 2019 la aceleasi standarde nu va duce decat la scaderea numarului celor prezentati. Si poate ca promovabilitatea ar creste, dar in cifre absolute ar scadea.
Si tot asa. Ar duce falimentul Univesitatilor in aceste conditii la ceva bun? Nu, pentru ca daca ai absolventi de liceu foarte buni, ei vor merge oricum la studii in straiatate, scazand si mai mult numarul de studenti din Romania si ducand la implozia universitatilor.
Ce ar insemna asta pentru licee? Pai, transforamrea bacului intr-un examen pentru intrarea la Universitati din strainatate.
Iar acesst lucru s-ar rasfrange asupra invatamantului ca atare, pentru ca evident, vor ajunge in educatie cei care nu vor fi in stare sa plece la alte univesitati.
Sa marim salariile in educatie? Ce folos, daca nu exista nici o legatura intre performanta didactica si salariu. Va rezulta un invatamamant mai scump, nu unul mai bun. Si, sa nu uitam, educatia de stat este intotdeuna foarte scumpa. Adica, rpesiuni pe impozite. Adica pe firmele care sunt si asa lovite de lipsa de specialisti si de mediul nefavorabil.
===
Aducem experti straini sa schimbe standardele de evaluare. OK, dar standardele trebuie sa urmeze educatia concreta, reala. Nu ai cum sa ai standarde forte bune, daca pregatirea din scoala nu se face in vederea rezolvarii lor. Asa ca ar trebui sa rezolvi si problema predarii slabe. Ne intoarceam la ce am spus mai sus – adica iarasi ne blocam.
===
Nu exista un Mos Craciun al Educatiei iar imbunatatirea „pe bucati” este doar o iluzie. Acolo unde o vedem pe bucati, doar o vedem asa, nu inseamna ca s-a realizat segmentat. Si nici in afara societatii.
Ar trebui schimbate multe lucruri in acest proces, insa nu cred ca cineva se va ocupa de asta, am dat BAC-ul acum cativa ani si sincer, lasa de dorit metoda de organizare, evaluarea…dezamagitor.
Problema instrumentelor de evaluare nu se refera doar la „bac” ci chiar de la inceputul scolii. Daca ar exista programe educationale coerente si adecvate fiecarei varste a copilului, o evaluare corecta si de bun simt din primele etape de studiu, atunci nu ai ajunge la astfel de intrebari la testele care constituie ‘praguri”