PISA, o “enigmă” neînțeleasă și o șansă ratată…

Ecourile PISA 2018 se fac încă auzite în România, mai mult ca niciodată. Știm că avem, la matematică, rezultate mai slabe în 2018 față de 2015 (430 vs. 444). Însă, valoarea de 430 pe scala PISA este doar vârful aisbergului. Ce se află în spatele acestei cifre? Am avut un eșantion de 5075 de elevi români testați în 2018. Teoretic, puteam să avem acest rezultat dacă toți cei testați, luați unul câte unul, ar fi obținut fiecare 430. Uniformitate absolută, egalitate de acumulări educaționale absolută. Niciun analfabet funcțional. Ar fi fost bine așa? Poate doar mai plictisitor, fără diversitate, fără prea mult haz. Însă, o societate funcțională. O masă de elevi toți capabili să funcționeze rezonabil social, poate însă nu atât de excepțional. Aceeași medie pe eșantion putea fi obținută dacă jumătate dintre respondenți erau sub nivelul de alfabetism funcțional, iar cealaltă jumătate corespunzător peste borna de 430. Polarizare totală, două lumi rupte una de alta, o societate extrem de tensionată. Eh, întrebarea este unde ne situăm între cele două situații ipotetice? Suntem mai aproape, se pare, de situația de polarizare extremă. ”In Romania, socio-economically advantaged students outperformed disadvantaged students in reading by 109 score points in PISA 2018. This is larger than the average difference between the two groups (89 score points) across OECD countries”[1]. Asta ar trebui să ne preocupe de fapt, această polarizare și cum să o reducem în viitor.

Dar și mai important: avem scădere uniformă în 2018 față de 2015 la toate categoriile de elevi? Sau scăderea s-a manifestat, mai degrabă, la cei bine poziționați social? Ori dimpotrivă, avem scădere la cei mai slab poziționați social?

În cele ce urmează prezint un set de analize care arată dinamica între cele două valuri (2015/2018) pe sub-categorii de elevi în funcție de variabile cheie disponibile în baza PISA. Fără analize statistice prea sofisticate se pare că scăderea din 2018 la rezultatele testului PISA s-a manifestat, mai degrabă, la nivelul celor deja vulnerabili în procesul educațional cu efect direct polarizare accentuată la nivelul acumulărilor educaționale.

Rezultatele PISA sunt, pentru România, mai slabe în 2018 față de cele din 2015, la matematică se remarcă cea mai abruptă cădere – vezi tabelul următor. Există un regres și în raport cu rezultatele din anul 2012, dar rezultatele sunt superioare celor din anii 2009 și 2006[2].

Dincolo de furtuna mediatică și de declarațiile politice generate de aceste rezultate este nevoie, totuși, să încercăm să înțelegem, pentru început, de unde vine căderea aceasta abruptă în doar 3 ani, din 2015 în 2018. Ne vom concentra în analiza noastră pe rezultatele la Matematică unde avem un regres de 14 puncte pe scala PISA. Regresul de ansamblu poate părea oarecum ciudat pentru că, în ultimii ani, s-au investit fonduri europene în educație, au fost derulate multe programe și proiecte, naționale și locale, a fost demarată reforma curriculară dar, cu toate aceste eforturi, înregistrăm un regres.

În plus, să nu uităm, studiul PISA se bazează pe un eșantion de adolescenți supuși testării format din elevi care sunt încă înscriși în școală, cu vârsta de aproximativ 15 ani. Mai concret, datele sunt reprezentative doar pentru elevii care încă frecventau școala în anul testării și aveau vârsta de 15 ani; reprezentativitatea nu acoperă și grupul adolescenților din cohorta de vârsta 15 ani care au abandonat anterior școala. Însă, așa cum ne arată rata de părăsire timpurie a școlii, România are o problemă și cu abandonul școlar până la această vârstă – în 2018, 16,4% dintre tinerii 18-24 ani absolviseră în România cel mult 8 clase și nu mai urmau nicio altă formă de instruire sau formare profesională[3]. Raportul OECD privind studiul PISA arată că rezultatele în cazul României sunt reprezentative doar pentru un număr de 148 098 de elevi cu vârsta de 15 ani, ceea ce reprezintă doar 73% din totalul populației de 15 ani din România[4]. Restul adolescenților care nu intră în bazinul pentru care studiul PISA este reprezentativ în România sunt fie în abandon școlar, fie învață în structuri școlare care un au putut fi cuprinse în arealul de selecție al eșantionului utilizat. Altfel, dacă și acești tineri ar fi fost luați în calcul, rezultatele obținute la nivelul cohortei adolescenților de 15 ani în anul 2018 ar fi fost, foarte probabil, mult mai scăzute.

O observație importantă: modul de tratare (abordare și interpretare) a rezultatelor studiului PISA suferă de o mare superficialitate în România. Am arătat deja, pe datele din 2015, cum ar putea fi utilizată oportunitatea deschisă de acest studiu în politicile educaționale[5]. În prezent, având la dispoziție datele studiului din 2018, am reușit realizarea unui set de comparații preliminare care clarifică într-o anumită măsură cum s-au modificat rezultatele pe anumite sub-grupuri sociale, proces care ne ajută să găsim un răspuns – provizoriu deocamdată – următoarei întrebări cheie: au scăzut performanțele pe scala PISA uniform, sau, dimpotrivă au scăzut mai ales la elevii din medii vulnerabile, defavorizate în timp ce elevii din clasele ”socio-economice” superioare și-au păstrat performanțele sau chiar și le-au îmbunătățit? La limită, speculând, involuția rezultatelor din 2018 în raport cu cele din 2015 ar putea fi explicată parțial prin dinamica demografică diferită a diferitelor categorii de elevi, prin creșterea ponderii celor vulnerabili (explicată printr-o natalitate mai mare în rândul grupurilor sociale defavorizate etc.), concomitent cu incapacitatea sistemului de educație de a compensa starea de vulnerabilitate a anumitor elevi.

În răstimpul scurt la dispoziție pentru realizarea acestui material putem furniza doar câteva coordonate care nuanțează înțelerea rezultatelor, dar vom reveni în scurt timp cu o analiză mai amănunțită și bine fundamentată. Discuția asupra rezultatelor PISA, pe subcategorii de elevi, sugerează și anumite deschideri asupra politicilor care ar putea fi elaborate pentru a dezvolta abilitățile măsurate de testul PISA[6]. Așa cum am arătat deja, studiul PISA derulat în România nu dispune, din păcate, de multe variabile relevante care să permită analize mai detaliate asupra rezultatelor obținute de anumite sub-grupuri de elevi – deși fiecare țară participantă la PISA are posibilitatea de a adăuga, față de instrumentul standard de testare, alți itemi care i se par relevanți (de exemplu o baterie de itemi cu date colectate direct de la familia elevului, dar România nu a optat pentru colectarea și a acestor date)[7]. Vom utiliza oferta de date PISA, așa cum există aceasta în prezent, deși merită să menționăm, și pe această cale, că prin excluderea unor itemi, România ratează în studiul PISA și o oportunitate de a analiza științific, comprehensiv, situația educației din România.

Așadar:

1. Cum s-au descurcat elevii din familii cu status educațional parental diferit?

Să luăm în calcul, deocamdată, doar educația mamei – vezi tabelul următor. Datele ne arată, destul de clar, faptul că scăderile cele mai accentuate au avut loc în categoria elevilor care au mame cu nivel de educație cel mult secundar inferior (gimnaziu). În schimb, în rândul elevilor unde educația mamei a fost cel puțin de nivel liceal, scăderea rezultatelor la testul PISA în 2018 față de 2015 a fost mai lină. Altfel spus, acolo unde familia este încă un pilon care susține în mod substanțial educația elevului, rezultatele s-au deteriorat mai puțin; în schimb, acolo unde familia nu poate aduce o contribuție semnificativă – din cauza nivelului redus al educației în rândul adulților din respectiva familie – și căderea a fost mai accentuată. Școala, cu alte cuvinte, nu a putut compensa adecvat tendința de regres la testele PISA a elevilor vulnerabili ca urmare a statutului educațional precar al părinților. Ce putem sugera aici politicilor educaționale? Orientarea resurselor publice trebuie realizată în mod mai echitabil, astfel că grupurile de elevi vulnerabili să beneficieze mai mult din bugetul alocat educației – și aici cei care provin din familii cu educație redusă se constituie, în sine, ca un grup vulnerabil; și alte studii arată că acești elevi obțin performanțe educaționale mai scăzute, pe orice fel de test, chiar și la evaluarea națională[8].

* ISCED nivel 1 – nivel primar; ISCED nivel 2 – nivel gimnazial; ISCED nivel 3b și 3C – școli profesionale, de meserii, vocaționale; ISCED nivel 3A – Liceu.

2. Cum au performat elevii români la PISA în funcție de numărul cărților existente în biblioteca familiei?

Acest indicator este unul extrem de important pentru că studii anterioare au arătat relevanța sa în explicarea performanțelor educaționale ale elevilor[10]. Mecanismul explicativ este următorul: părinții care dețin cărți acasă și care valorizează acest bun cultural au, pe parcursul dezvoltării elevului, încă din primii ani de viață, un comportament care favorizează dezvoltarea cognitivă și acumulările educaționale ale copilului – prin interacțiuni cotidiene mai semnificative, prin transferul către copil a unui bagaj lingvistic și conceptual mai complex, prin abordarea mai adecvată a dezvoltării funcției cognitive a elevului.

Și în această privință datele ne arată că rezultatele mai slabe la testul PISA 2018 față de PISA 2015 au fost înregistrate în categoria acelor elevi care trăiesc în gospodării cu număr mic de cărți în biblioteca familiei (de până la 10) – vezi tabelul următor. În analiza de mai jos survine o anomalie la nivelul categoriei elevilor din familii care dețin între 201-500 de cărți în bibliotecă deoarece și în acest grup a avut loc o scădere abruptă a rezultatelor la testările PISA 2018 comparativ cu cele din 2015. În orice caz, datele ne arată totuși clar că scăderea cea mai accentuată a avut loc la nivelul elevilor cei mai vulnerabili din punct de vedere al numărului de cărți din gospodăria în care trăiesc; iarăși acest fapt ne sugerează că, în România, nu există instituționalizată calea pentru un sistem educațional echitabil, care să ofere mai mult sprijin acolo unde există condiții independente de voința elevului (statutul și situația familiei unde te naști nu este o alegere, ci este o loterie) și care îl avantajează sau îl fac vulnerabil, după caz.

3. Cum au performat elevii în cele două valuri PISA în funcție de clasa în care se aflau la momentul studiului?

Analiza prezentată în tabelul următor este semnificativă din mai multe puncte de vedere. Vedem, în primul rând, că în anul 2015 elevii din eșantion care se aflau în clasa a 7-a sau a 8-a (este posibil acest lucru pentru un adolescent de 15 ani în condițiile în care a început clasa I după ce a împlinit vârsta de 7 ani sau a rămas repetent) au performat peste borna de 400 pe scala PISA și oricum categoric mai bine decât au făcut-o elevii situați pe aceleași niveluri educaționale în anul 2018. Acest fapt ne arată că, în cazul elevilor participanți la PSA care încă sunt în gimnaziu, rezultatele s-au deteriorat accentuat. Putem doar specula aici asupra explicațiilor acestei situații în lipsa unor corelații adiționale; poate fi, totuși, un semnal al unei scăderi a calității educației mult mai accentuate la nivel gimnazial, fapt ce ar sugera că speranța legată de schimbările de curriculum operate în ultimii ani care își vor arăta efectele pozitive la runda viitoare din PISA este una mai degrabă deșartă și că reforma a fost una realizată într-un sens greșit sau într-o manieră inadecvată. De altfel, putem observa că dimensiunile sub-eșantioanelor de elevi înscriși în clasa a 8-a și a 7-a sunt mult mai mici în 2018 față de 2015 (în ciuda unui eșantion pe ansamblu mai mare în 2018); o analiză care ar merita efectuată este controlul efectului statului de elev repetent deoarece baza PISA are o astfel de variabilă. Oricum ar fi, și în acest caz, rezultatele ne arată că rezultatele PISA au scăzut mai degrabă la nivelul elevilor aflați în risc, în situații educaționale mai dificile – start întârziat în școală, repetenție etc., situații care explică vârsta mai mare a unui elev față de clasa în care era înscris la momentul derulării testării PISA.

4. Ce s-a întâmplat cu situația elevilor repetenți participanți la studiul PISA?

Datele sunt clare: elevii repetenți participanți la studiul PISA din 2015 au avut performanțe mai bune decât cei repetenți din eșantionul din 2018, existând o scădere medie de aproape 44 puncte pe scala PISA față de o scădere de 13,5 puncte în rândul celor care nu sunt repetenți. Elevii repetenți par, în acest tablou, abandonați de sistem din punct de vedere ale dezvoltării competențelor măsurate de studiul PISA. Există, fără îndoială, și necesitatea unei analize a profilului celor repetenți între cele două valuri (este vorba de a controla, de ex., și variabila nivelului de educație a părinților elevului repetent) dar este clar că acești elevi pierd, cu fiecare nouă generație, aderența la sistemul educațional.

5. Cum a influența bunăstarea familiei rezultatele la testul PISA?

Studiul PISA a calculat și un indice al bunăstării familiei fiecărui elev participant la studiu[11]. Astfel, elevii participanți pot fi ierarhizați în funcție de nivelul bunăstării familiei de proveniență. Am separat elevii participanți în 10 grupuri distincte, în funcție de nivelul bunăstării familiei: de la cei 10% cu cel mai scăzut nivel al bunăstării familiale, până la cei 10% cu cel mai ridicat nivel și am calculat media rezultatul PISA în interiorul fiecărui grup. Și în acest caz, analiza ne arată că cei 10% elevi cu cea mai redusă bunăstare familială au manifestat și cea mai redusă scădere pe scala PISA între cele două valuri ale studiului. Totuși – și aici avem un fapt interesant, la care nu ne așteptam – observăm o scădere mai accentuată manifestată și în rândul grupurilor de elevi cu cea mai ridicată bunăstare. Practic, cea mai accentuată scădere a rezultatelor PISA s-a manifestat în rândul grupurilor aflate la extreme din punct de vedere al bunăstării familiale. Nu putem în acest punct decât să speculăm asupra explicațiilor unei asemenea situații. Remarcăm faptul că și în 2018 elevii proveniți din familii cu cel mai ridicat nivel al bunăstării (decilele 7, 8, 9 și 10) performează cel mai bine, însă ce șochează este scăderea manifestată în 2018 la elevii din decilele 9 și 10 față de situația din 2015. Poate fi o schimbare structurală de atitudine în acest grup, la nivel parental, în care se păstrează interesul pentru un nivel ridicat de acumulare educațională, dar se abandonează interesul pentru excelență (în schimbul orelor prelungite de meditații, poate se face opțiunea pentru timp de calitate cu copilul, făcând sport, excursii, vacanțe de weekend etc.); poate fi și un efect al accesului facil la tehnologie al elevului (itemul bunăstării este compus din mai multe posesiuni, printre care accesul la internet, telefon cu internet, computer, tabletă, e-book readers, TV etc.) care, în anumite cazuri, poate avea un impact negativ asupra situației școlare a elevului (cazurile în care dependența de jocuri de calculator a elevului afectează pregătirea temelor etc.); nu excludem, poate, și efectul anumitor erori de răspuns, elevi care au declarat anumtie posesiuni familiale pentru a evita stigmatizarea sărăciei sau lipsurilor. Este o dimensiune care merită, oricum, a fi investigată mai amănunțit în viitor.

6. Cât contează educația preșcolară?

Studiile internaționale de referință ne spun că ea contează pentru acumulările educaționale viitoare. Se pare că aceasta influențează și rezultatele obținute la testul PISA. În 2018 itemul care măsoară participarea la educație preșcolară a elevului a fost modificat, astfel că nu putem face comparație directă între situația unor categorii de elevi între cele două valuri ale testări în funcție de acest aspect. Din datele prezentate în tabelele următoare putem observa, totuși, că elevii care au urmat educație preșcolară pentru mai mult de un an au înregistrat și rezultate mai bune la testul PISA 2015 și, de asemenea, că cei care au început educația preșcolară instituțională (creșă, grădiniță) mai devreme – la 2, 3 sau 4 ani – au înregistrat și rezultate mai bune la testul PISA 2018. Este puțin anormal rezultatul înregistrat de elevii care au declarat că au început educația preșcolară la 1 an, deoarece aceștia au un scor mediu mai scăzut față de cei care au început educația preșcolară la 2/3/4 ani și similar celui înregistrat de cei care au început la 5 sau 6 ani. Este foarte posibil o eroare de măsurare, de înțelegere a variantei de răspuns de către unii respondenți.

Totuși, rămâne valabilă concluzia că educația preșcolară contează, că este un efect care se adaugă, alături de alți factori, performanțelor și acumulărilor educaționale ale unui elev și care se poate observa în timp, în adolescență și la maturitate. Investițiile publice în educația centrată pe copil, pe creșterea nivelului acumulărilor cognitive ale acestuia încep devreme, în primii ani de viață. Sunt comunități în România unde nu sunt suficiente locuri în grădiniță și/sau creșe pentru numărul copiilor care trăiesc în respectivele zone, iar condițiile variază de la o grădiniță la alta – în mediul rural, mai ales în cel sărac, situat la distanță mare de aglomerările urbane, de ex., programul de grădiniță este doar scurt – până la orele 11.30/12.00, infrastructura școlară este precară, iar calitatea cadrelor didactice lasă de dorit; în unele cazuri există și dificultăți de acces a infrastructurii școlare de către copii în strânsă legătură cu calitatea precară a infrastructurii rutiere și de transport, aspecte care contează, mai ales, în sezonul rece. Programul de stimulare a participării la educația preșcolară prin acordare de vouchere lansat de Guvernul României acum trei ani ar trebui să fie completat de măsuri de implementare adecvată: o atitudine pro-activă a autorităților locale pentru a determina părinții să acceseze programul, precum și de măsuri de creștere a capacității și calității serviciilor preșcolare furnizate în comunitățile sărace, marginalizate. În timp, această abordare va contribui și la îmbunătățirea rezultatelor la testele PISA și, mai departe, la educarea și formarea de adulți capabili să aibă performanțe bune și ridicate pe plan social și să contribuie la dezvoltarea economică a țării.

Discuție și concluzii

Rezultatele testării PISA, în România, arată o deteriorare în 2018 față de 2015 a nivelului de competențe – așa cum sunt ele măsurate în această abordare – mai accentuată în rândul categoriilor de elevi vulnerabili în procesul educațional față de cei mai bine poziționați social. Efectul direct sugerat de acest fapt este că, alături de scădere în general la testul PISA, înregistrăm, fapt și mai grav, creștere a diferențelor educaționale, a nivelului de acumulări educaționale manifestat în diverse categorii de elevi. Ne îndreptăm către un model de societate tot mai polarizată educațional și, implicit polarizată socio-economic – fiind bine-cunoscut efectul educației la nivelul bunăstării individuale și dezvoltării sociale.

Insistența asupra curriculum-ului – ca factor explicativ central al rezultatelor PISA – nu este decât o reflexie a aceleiași păguboase perspective centrată pe modalitatea de învățare a elevilor bine poziționați social, cei care beneficiază oricum semnificativ de trecerea prin sistemul educațional. Există însă o masă de copii proveniți din contexte mai puțin favorabile participării adecvate la procesul educațional pentru care sistemul instituțional românesc (instituții publice relevante, școală, autorități locale etc.) nu are reacția compensatorie adecvată.

În plus, studiul PISA este o șansă ratată pentru România deoarece nu luăm maxim ce se poate lua din acest studiu, sunt limite care țin de decizia României de a configura într-un anumit nivel anvergura studiului PISA. Sugerăm aici unele mijloace de maximizare a nivelului de cunoaștere care pot fi extrase din datele PISA în cazul României, mai ales în perspectiva rundelor viitoare ale acestui studiu. Anume:

• colectarea de date și de la părinții elevilor incluși în eșantionul de elevi (pentru investigarea unor noi paliere analitice precum implicarea parentală, dar și pentru a crește acuratețea datelor obținute),
• colectare de date detaliate asupra caracteristicilor școlilor din care au fost selectați elevii incluși în studiu (fapt care ar permite și modelări statistice de tip multi-nivel),
• colectarea datelor utilizând computerul, așa cum procedează majoritatea țărilor participante la PISA (dintre țările participante la PISA 2018, doar 9, printre care și România, aplică testarea PISA utilizând încă răspunsuri scrise pe hârtie),
• completarea datelor colectate cu caracteristici esențiale ale elevilor, care permit analiza anumitor grupuri recunoscute ca vulnerabile (precum mediul de rezidență rural/urban, etnia elevilor, structura familiei prin identificarea familiilor elevilor care provin din familii monoparentale, existența unor comportamente de emigrație în familie, numărul de membrii care trăiesc în gospodărie etc.),
• adăugarea în baza de date pentru România ca variabilă specifică și a notelor obținute de elevii din eșantion la testarea națională de la finalul clasei a VIII-a (fapt care permite analiza de corelație între rezultatele elevilor pe cele două scale de performanță),
• adăugarea de date colectate longitudinal, în sistem panel, prin revenirea la elevii incluși în eșantion și la vârste mai mari (pentru a investiga mecanisme cauzale ale situației de la maturitate a elevilor din România).

NOTE____________________

1. https://www.oecd.org/pisa/publications/PISA2018_CN_ROU.pdf (5,12,2019) p.4

2. Mai multe date despre rezultatele PISA în cazul României, aici: https://www.oecd.org/pisa/publications/PISA2018_CN_ROU.pdf?fbclid=IwAR2un3NtsJaSpTrjTHZHrvyhJfBzntzNct4-dycwzfQQ–AqZyKggrR07hE (4.12.2019).

3. Date EUROSTAT. Sursa: https://ec.europa.eu/eurostat/databrowser/view/t2020_40/default/table?lang=en

4. https://www.oecd.org/pisa/publications/PISA2018_CN_ROU.pdf (5.12.2019). p.9

5. Capitolul 4 din lucrarea ”Școala din România din perspectiva datelor PISA”, editor Gabriel Bădescu, 2019, Presa Universitară Clujeană. Lucrarea poate fi consultată aici: http://www.editura.ubbcluj.ro/bd/ebooks/pdf/2386.pdf?fbclid=IwAR2B3xcgv1p8hatUn027mzBBIfZS8Y3NCHs34Z-nKZtru2ZFAfycxfAHhuM (4.12.2019)

6. Nu deschidem aici discuția asupra relevanței testului PISA deoarece această temă a fost deja tratată în resursa bibliografică citată anterior.

7 Nu avem în baza de date, de exemplu, etnia elevului respondent sau mediul de proveniență al acestuia – rural/urban. Aceste variabile sunt extrem de relevante în contextul românesc – vezi lucrarea citată anterior.

8. https://romaeducationfund.ro/wp-content/uploads/2015/01/Rezultate-concluzii-recomandari-ale-cercetarii_FIN1.pdf (5.12.2019). P.13

9. Nivel ISCED 1 finalizat (educație primară), Nivel ISCED 2 finalizat (învățământ gimnazial); Nivel ISCED 3B sau 3C finalizat (învățământ secundar superior care oferă acces direct la piața muncii sau la programele ISCED 5B) – școli profesionale, de meserii sau vocaționale; Nivel ISCED 3A finalizat – Liceu(secundar superior care oferă acces la programele ISCED 5A și 5B) și/sau ISCED nivel 4 finalizat (învățământ post-secundar non-terțiar), nivel ISCED 5A finalizat (educație terțiară de nivel universitar) sau ISCED nivel 6 (programe de cercetare avansată), nivel ISCED 5B finalizat (învățământ terțiar non-universitar non-universitar).

10. https://www.oecd.org/pisa/publications/ (5.12.2019)

11. https://www.oecd.org/pisa/sitedocument/PISA-2015-Technical-Report-Chapter-16-Procedures-and-Construct-Validation-of-Context-Questionnaire-Data.pdf?fbclid=IwAR2FxsDdWrcdB6uVm2ebjn1uAnwfUVK4TBZplwtFcjC9GMXSviVd5MCDY28 (5.12.2019). p. 12