Home » Educatie » Citesti:

Comunicat „Ad Astra” referitor la evaluarea proiectelor naționale de cercetare

contributors februarie 26, 2018 Educatie
1 comentariu 1,040 Vizualizari

Nota redactie: Am primit urmatorul comunicat al asociatiei AD Astra:

În urma ultimelor competiții naționale majore organizate de către UEFISCDI (PCE 2015, TE 2016, PD 2016, PCCDI 2017), în spațiul public au fost formulate o serie de neajunsuri grave în procesul de evaluare a proiectelor de cercetare.

(I.) În primul rând, a fost semnalat în multiple cazuri faptul că evaluările denotă o lipsă de familiaritate elementară cu domeniul propunerii de proiect, de unde deducem că au existat situații în care evaluatori au evaluat proiecte din afara ariei lor de competență, deși în pachetul de informații este indicat explicit că publicațiile evaluatorului trebuie să fie „în domeniul propunerii de proiect“. Prin urmare, considerăm că declarația pe proprie răspundere a evaluatorilor nu constituie o garanție suficientă nici pentru candidat, nici pentru comunitatea științifică în întregul ei, cu privire la corectitudinea procesului de evaluare. În consecință, considerăm că se impun măsuri suplimentare pentru a garanta corespondența dintre domeniul de expertiză al evaluatorului și domeniul propunerii de proiect.

PROPUNERI:

(I-A) Pentru a preveni astfel de situații, propunem ca UEFISCDI (alături de ceilalți doi coordonatori de programe din cadrul PNCDI 3, ROSA și IFA) să includă în aplicație un câmp în care candidatul să introducă numele domeniului (domeniilor) și al subdomeniului (subdomeniilor) în care se înscrie propunerea de proiect. Totodată, evaluatorul trebuie, la rândul său, să indice domeniul (domeniile) și subdomeniul (subdomeniile) în care este expert, fapt dovedit prin publicații apărute în fluxul internațional principal. Baza de date cu evaluatori trebuie să fie comună tuturor coordonatorilor de programe din subordinea MCI, iar validarea acestora pe domenii și subdomenii trebuie să ia în calcul publicațiile listate în fluxul internațional principal (așa cum este el definit în actualele pachete de informații pentru competițiile PCE, PD și TE). Corespondența dintre domeniul evaluatorului și domeniul proiectului ar trebui să fie reglementată tehnic prin platforma UEFISCDI și validată de personalul administrativ al coordonatorului de program. Cu alte cuvinte, ar trebui să fie tehnic imposibil ca un proiect dintr-un anumit domeniu să fie atribuit spre evaluare unei persoane din afara acelui domeniu. În cazul în care evaluatorii constată că propunerea de proiect care le-a fost alocată nu se încadrează în domeniul/domeniile declarat(e) de aplicant, proiectul va fi trimis panelurilor tematice pentru redistribuire. Vezi mai jos detalii despre panelurile tematice (alcătuite după modelul granturilor ERC). Utilizarea cuvintelor cheie este redundantă în raport cu încadrarea pe domenii și subdomenii și ar trebui să servească doar pentru rafinarea procesului de alocare al evaluatorilor, în cazul în care numărul disponibil per domeniu este mare. Domeniile și subdomeniile (atât cele alese de aplicant, cât și cele alese de evaluatori) vor fi făcute publice odată cu afișarea rezultatelor preliminare.

(I-B) Propunem, de asemenea, refacerea Anexei 3 (domenii științifice), care este imprecisă și lasă loc unor situații ambigue. Bunăoară, la categoria SH / subcategoria SH5, sunt puse laolaltă o multitudine de domenii net distincte tematic și metodologic, fără a permite diferențieri absolut necesare pe subdomenii. Cu atât mai mult cu cât alte domenii sunt, în contrast, bine diferențiate pe subdomenii. Această aglomerare de domenii net distincte se reflectă și în constituirea panelului „Științe umaniste”, care ar trebui diferențiat în paneluri mai atent delimitate, spre exemplu: (i) Filologie, Lingvistică, Studii literare, Studii culturale; (ii) Istorie și Arheologie; (iii) Filozofie, Teologie, Studii Religioase; (iv) Arhitectură, Urbanism, Arte.

(II) În al doilea rând, a fost semnalat faptul că, în condițiile în care comunitatea științifică autohtonă este destul de redusă în fiecare domeniu, suspiciunile de conflict de interese nu pot fi în nici un fel risipite. Nici în această privință declarația pe proprie răspundere pe care o semnează evaluatorii nu reprezintă o garanție suficientă, cu atât mai mult cu cât pentru unele competiții (vezi PCCDI) criteriile sunt foarte laxe în privința conflictului de interes. În orice comunitate mică, avem nu doar o concurență inevitabilă între centrele universitare, dar și multiple complicități difuze sau adversități mocnite. O astfel de situație nu garantează o evaluare neutră și profesionistă.

PROPUNERI:

(II-A) Propunem ca evaluarea să fie făcută exclusiv cu experți internaționali, aceasta ducând implicit la folosirea limbii engleze la redactarea propunerilor de proiecte. Raționamentul conform căruia cheltuim mai mulți bani folosind evaluatori internaționali nu este valid, remunerația fiind aceeași atât pentru evaluatorii naționali cât și pentru cei internaționali. Invocarea motivului că limba română simplifică procesul de aplicare arată doar o atitudine cinică și insultătoare la adresa cercetătorilor români.

Așa cum subliniam în comunicatul din 01.05.2017, introducerea în mod explicit și deliberat a unei preferințe naționale în privința evaluatorilor, precum și criterii ierarhice de selecție, este în contradicție cu Strategia Națională de Cercetare-Dezvoltare-Inovare 2014-2020. Aceste prevederi noi (art. 4(3) al Actului adițional nr. 10/2017, încheiat între MCI și UEFISCDI) sunt perfect anti-științifice și, după știința noastră, nu își găsesc echivalent niciunde în țările dezvoltate științific.

(II-B) Propunem ca evaluarea secțiunii care conține efectiv proiectul de cercetare să se facă conform sistemului „blind review“, cu alte cuvinte evaluatorii să nu cunoască identitatea candidatului. În consecință, lista proiectelor depuse trebuie să fie făcută publică doar după afișarea rezultatelor preliminare.

(II-C) Propunem ca evaluarea secțiunii care conține informații despre profilul candidatului și despre rezultatele cercetărilor sale anterioare să se facă separat, în paneluri tematice (după modelul procedurii de evaluare a granturilor ERC), comparând profilurile științifice ale candidaților, în funcție de criteriile de performanță specifice domeniilor. Președintele fiecărui panel tematic trebuie desemnat și cunoscut public înainte de depunerea aplicațiilor, iar componența întregului panel trebuie să devină publică după evaluare. În situația actuală, candidați cu rezultate foarte diferite pot primi punctaje egale; sau, mai grav, candidați cu rezultate mai bune pot să primească, la această secțiune, punctaj mai mic decât candidați cu rezultate mai slabe. Lipsa unei metodologii clare și obiective de ierarhizare lasă inevitabil loc subiectivismului fiecărui evaluator.

(II-D) Propunem ca panelurile tematice (distincte pentru fiecare domeniu major în parte) să fie compuse din 5-7 personalități cu rezultate internaționale recunoscute în acel domeniu (probate prin satisfacerea de două ori a criteriilor de performanță științifică cerute evaluatorilor). Membrii panelurilor tematice nu trebuie să aibă dreptul de a modifica punctajul acordat de către cei trei evaluatori independenți secțiunii care conține efectiv proiectul de cercetare. Motivația acestei prevederi rezidă în faptul că cei 5-7 membri ai panelurilor nu vor avea o expertiză atât de vastă încât să acopere toate aspectele științifice de nișă din proiectele evaluate.

(II-E) Propunem actualizarea de urgență a modelului cadru de contract pentru evaluatori, care trebuie să fie făcut public și în care să fie detaliate cazurile de conflict de interes. Este inadmisibil ca unui evaluator să i se permită să participe la competiția în care evaluează, chiar dacă într-un alt domeniu. Regulamentul cadru ar urma să guverneze toate competițiile finanțate din bani publici, fără posibilitatea de fi modificat de la o competiție la alta (a se vedea contrastul dintre modul de definire a conflictului de interes la competiția PCCDI versus PD/TE, sau cele trei la un loc versus Programul Nucleu). Modelul utilizat în competițiile PD și TE poate sta la baza noului document.

(III) În al treilea rând, este cunoscut faptul că anumiți evaluatori au evaluat un număr foarte mare de proiecte. Acest lucru nu garantează calitatea evaluării, ci dimpotrivă invită la o evaluare superficială și pur formală.

PROPUNERE:

(III-A) Propunem ca un evaluator să poată evalua un număr de maxim 5 proiecte per competiție.

(IV) Așa cum arătam în comunicatul din 27.01.2018, comisia de soluționare a contestațiilor pe domeniul Chimie din cadrul competiției TE 2016 și-a încălcat atribuțiile, modificând notele finale acordate în panelurile tematice, chiar în lipsa unei contestații venite de la respectivii directori de proiect. Am solicitat în acest sens explicații de la MCI/UEFISCDI pe care încă le așteptăm.

PROPUNERE:

(IV-A) Comisiile de soluționare a contestațiilor sunt numite de membrii panelurilor tematice, atribuțiile acestora fiind făcute publice odată cu numirea lor, iar componența nominală după soluționarea contestațiilor. Membrii comisiilor de soluționare a contestațiilor trebuie să îndeplinească cel puțin criteriile de performanță impuse evaluatorilor. Printre atribuțiile acestei comisii trebuie să se numere, în primul rând, asigurarea corectitudinii desemnării referenților, adică corespondența domeniilor de expertiză ale acestora (dovedite prin publicații) cu cele ale aplicantului. În cazul în care această cerință nu a fost îndeplinită, comisia retrimite proiectul panelului tematic, care va dispune reevaluarea acestuia.

(V) Evaluarea ex-post a proiectelor declarate câștigătoare în cadrul competițiilor naționale este în prezent o formalitate, care de multe ori este îndeplinită de funcționari din aparatul administrativ al coordonatorilor de program, acestora lipsindu-le expertiza științifică necesară. În cazul în care evaluarea este făcută totuși de experți în domeniu, întreg procesul este unul obscur, rezultatele precum și lista experților nefiind făcute publice.

PROPUNERE:

(V-A) Evaluarea ex-post se realizează de către unul din cei trei evaluatori care au evaluat propunerea inițială. În cazul în care niciunul din cei trei nu este disponibil, membrii panelurilor utilizate în respectiva competiție vor desemna un al patrulea expert, care va avea acces la propunerea inițială.

(VI) Cazurile deja semnalate de plagiat în cadrul competițiilor naționale de proiecte subliniază necesitatea ca toate documentele cu conținut științific pe care le implică competiția (de la propuneri de proiecte, la referate de evaluare sau rapoarte de cercetare) să fie verificate de coordonatorul de program cu un soft antiplagiat.

Membrii Asociației Ad Astra

26 februarie 2018

Ai informatii despre tema de mai sus? Poti contribui la o mai buna intelegere a subiectului? Scrie articolul tau si trimite-l la editor[at]contributors.ro



Currently there is "1 comment" on this Article:

  1. Octavian Gordon Octavian Gordon spune:

    Dacă, în cadrul SH5, s-ar diferenția „net”, cum spuneți, între subdomeniile pe care le-ați menționat, vom avea următoarele probleme:
    1) Mult rîvnita și încurajata interdisciplinaritate ar fi periclitată de patul procustian al evaluatorilor din subdomeniul declarat (deopotrivă de propunător și de evaluator). Dacă este înaintată o propunere de proiect în așa-numita „filologie biblică”, din ce subdomeniu să fie evaluatorii: (i) sau (iii)? Sau și, și?
    2) Dacă înaintez o propunere de proiect referitoare la particularitățile fonetice ale unor cuvinte moștenite din latină în română (texte muntenești de sec. XVII), oare nu rămîne aceeași „primejdie”, anume ca proiectul să fie evaluat de un reputat eminescolog (Studii literare), care să nu aibă prea mult habar despre istoria limbii române, încadrată tot la (i).
    3) Dacă s-ar adopta propunerea diferențierilor pe subdomenii, cam ce șanse suplimentare față de metodologia din prezent ar avea un foarte bun dogmatist (Teologie) să evalueze proiectul unui biblist? Dar un specialist în Heidegger să evalueze proiectul unuia care se ocupă de filozofia lui Plotin? Cam tot atîtea ca și acum…
    Astfel, nu specializarea strict în (sub)domeniul unui proiect îl face pe evaluator să fie mai precis în evaluare. Ar fi imposibil, fiindcă este imposibil să ai evaluatori competenți (sau cel puțin la fel de competenți ca și propunătorul de proiect) pe fiecare posibil domeniu/subdomeniu/arie de studii în parte. Și atunci ce face o evaluare să fie relativ corectă? Evident, în afară de criteriile cuantificabile (cele care se referă la publicațiile directorului de proiect), limpezimea metodologiei. Practic, un specialist în istorie nu evaluează corect un proiect din subdomeniul Istorie fiindcă este și el, ca și propunătorul de proiect, specializat în istorie, ci îl evaluează corect în măsura în care urmărește coerența cu care un proiect este prezentat în metodologia lui. Respectiv cît de convingător este.
    Că trebuie exprimate criterii mai clare, este evident.
    De asemenea, ar trebui ca o contestație să nu poată privi doar erorile procedurale, ci și erorile (mult prea multele erori) de logică și competență ale evaluatorilor. Iar în cazul în care sînt diferențe mari între evaluatori, raportorul să nu facă doar o medie a notelor, ci proiectul să fie dat din nou la o evaluare „oarbă” în raport cu primii evaluatori.
    Și multe asemenea. Dar nu repartizarea (automată) pe subdomenii specializate. E ca și cum ai face din evaluator un soi de guru „atotstivuitor”.



Comenteaza:







Do NOT fill this !

E randul tau

Orice temă mediatică se dezumflă după vreme, însă reflectarea problemei nu este problema. Cum ...

de: W

la "Creșterea și descreșterea interesului public pentru încălzirea globală "

Petre Opris – volumul Licenţe străine pentru produse civile şi militare fabricate în România: (1946-1989)

România, marile puteri şi ordinea europeană: 1918-2018

Cauta articole

iulie 2018
Lu Ma Mi Jo Vi Du
« Iun    
 1
2345678
9101112131415
16171819202122
23242526272829
3031  

contributors.ro

Contributors.ro este intr-o permanenta cautare de autori care pot da valoare adaugata dezbaterii publice. Semnaturile noi sunt binevenite cata vreme respecta regulile de baza ale site-ului. Incurajam dezbaterea relaxata, bazata pe forta argumentelor.
Contact: editor[at]contributors.ro

MIHAI MACI – Cel de-al doilea volum din Colectia Contributors.ro

"Atunci când abdică de la menirea ei, școala nu e o simplă instituție inerțială, ci una deformatoare. Și nu deformează doar spatele copiilor, ci, în primul rând, sufletele lor. Elevul care învață că poate obține note mari cu referate de pe internet e adultul de mâine care va plagia fără remușcări, cel care-și copiază temele în pauză va alege întotdeauna scurtătura, iar cel care promovează cu intervenții va ști că la baza reușitei stă nu cunoașterea, ci cunoștințele. Luate indi­vidual, lucrurile acestea pot părea mărunte, însă cumulate, ele dau măsura deformării lumii în care trăim și aruncă o umbră grea asupra viitorului pe care ni-l dorim altfel." - Mihai Maci

(An essay by Vladimir Tismaneanu and Marius Stan)