vineri, martie 29, 2024

Încă o dată despre proiecte de cercetare și UEFISCDI

La ce bun încă un text despre competițiile de proiecte coordonate de UEFISCDI? Pot răspunde la această întrebare prealabilă invocând necesitatea de a consolida și extinde o dezbatere mereu reluată – odată cu lansarea de noi competiții pentru proiecte de cercetare postdoctorală (PD) sau pentru stimularea tinerelor echipe independente (TE) –, însă nicicând încheiată cu rezultate satisfăcătoare. Consolidarea și extinderea acestei dezbateri sunt necesare din cel puțin două motive: 1. eventuala rezolvare punctuală a unor probleme semnalate deja în mediul online nu trebuie să ne abată atenția de la alte aspecte problematice ale competițiilor PD sau TE, rămase încă nerezolvate sau chiar insuficient discutate; 2. pe măsură ce dezbaterea va căpăta amploare – prin evidențierea mai multor probleme și a ocurențelor acestora – va deveni tot mai clar că soluțiile, cel mai adesea, nu pot fi punctuale, ci trebuie să aibă un caracter sistemic. În textul meu voi evidenția, în primul rând, câteva probleme pe care le-am observat în calitate de participant la competiția PD, urmând ca pe acest fundal să pun în discuție funcționalitatea regulamentului competiției și raportul dintre intențiile explicite ale UEFISCDI și posibilitatea reală de a le pune în practică.

M-am conformat calendarului strict al competiției PD și am depus aplicația mea, în domeniul științelor umaniste, înainte de 10 ianuarie (2017), ora 16. Așa cum era de așteptat, UEFISCDI nu a respectat termenele obligațiilor sale, din același calendar, unul dintre motive fiind absența evaluatorilor. (În data de 28 noiembrie eram înștiințați că s-au găsit încă șapte potențiali evaluatori.) Cu șapte luni întârziere, la începutul lunii decembrie, mi-a fost expediată evaluarea aplicației depuse. În urma parcurgerii ei nu pot spune decât că am rămas profund nedumirit. Comentariile primite sunt sumare, imprecise, neargumentate, incorecte și incomplete. (Voi explicita aceasta catalogare puțin mai jos.) Prima problemă cu care m-am confruntat a fost astfel cea a înțelegerii situației academice neobișnuite în care mă aflam. Cum m-aș fi putut dumiri în privința evaluării primite, care, în cele din urmă, decide rezultatul aplicației mele și care ar trebui să mă ghideze în procesul de elaborare al unei eventuale noi aplicații?

Am apelat, pentru început, la experiența și atitudinea altor aplicanți, fie luând contact direct cu ei, fie citind anumite luări de poziție publice. În acest fel am aflat despre alte cazuri de evaluări stranii: unele susținute doar de o lectură superficială a proiectelor de cercetare propuse; altele realizate de nespecialiști în domeniile care subsumau proiectele propuse; evaluări într-atât de generale încât ar fi putut fi aplicate, în aceeași formă, mai multor proiecte; evaluări cu conținut identic, deci care au fost aplicate, în aceeași formă, mai multor proiecte. (Cazul din urmă este cel al deja cunoscutelor evaluări copy-paste.) Nedumiririi mele i se adaugă astfel nedumirirea sau chiar indignarea altor aplicanți. Într-un următor pas al încercării mele de a înțelege situația în care mă aflam am consultat răspunsul acordat de UEFISCDI semnalării evaluărilor copy-paste și am recitit pachetul de informații pentru proiectele de cercetare postdoctorală. Din aceste surse am reținut următoarele trei precizări: 1. UEFISCDI nu tolerează defel nici o formă de abatere de la normele şi uzanţele deontologiei academice; 2. Evaluatorii sunt experți recunoscuți internațional, cu contribuții remarcabile in domeniile pe care le gestionează în cadrul competițiilor PD sau TE; 3. Dacă totuși, chiar și în aceste condiții optime, survin abateri de la principiile de organizare ale competiției, aplicanții pot depune contestații. Respectivele contestații, dată fiind cea de-a doua precizare, pot avea ca obiect doar vicii de procedură, nicidecum comentariile și punctajele oferite de evaluatori.

Sunt însă suficiente aceste precizări pentru a lămuri evaluările stranii ale aplicațiilor depuse pentru competițiile PD sau TE? Cum ar trebui să ne raportăm la erorile inacceptabile prezente în respectivele evaluări, datorate comodității sau crizei de timp (copy-paste), neprofesionalismului sau chiar inepției? Ultimul calificativ poate părea violent, dar îl voi justifica îndată, raportându-mă la comentariile cuprinse în evaluarea aplicației mele. Voi avea în atenție, pe rând, două contradicții prezente în raportul de evaluare, care fac evidentă gândirea inconsistentă logic a evaluatorilor și dau seama de neputința acestora de a parcurge și înțelege o expunere elementară a unui proiect de cercetare.

  1. Trec peste forma agramată a primei „fraze” din evaluarea propunerii de proiect și redau ideea principală: „proiectul […] nu este suficient elaborat”. Aș putea accepta o astfel de observație, în măsura în care mi s-ar oferi argumente care să o susțină. O astfel de pretenție din partea mea ar fi însă perfect absurdă, deoarece în fraza imediat următoare mi se spune că cercetarea pe care o propun este „bine construită și suficient elaborată”. Este cu neputință, într-adevăr, să furnizezi argumente pentru o teză autocontradictorie, în care susții, în același timp și sub același raport, că un proiect este și insuficient elaborat, și suficient elaborat.
  2. Tot în prima parte a evaluării propunerii de proiect mi se comunică, din nou fără urmă de frison argumentativ, că „gradul de dificultate al temei nu justifică neapărat propunerea unui proiect de cercetare care să se desfășoare pe o durată de doi ani” și că ar putea legitima, mai curând, un „studiu de nivel masteral”. Las la o parte miștoul academic și mă raportez la a doua parte a evaluării propunerii de proiect, în care este conchis că obiectivele proiectului meu sunt „foarte ambițioase, aproape imposibil de realizat”. Din nou, argumentele lipsesc; dar, din nou, o teză autocontradictorie – în care susții, în același timp și sub același raport, că o propunere de proiect este și prea facilă, și imposibil de realizat  – nu poate avea nevoie de argumente. Ea este dincolo de posibilitatea argumentării.

Exigențele din pachetul de informații (pp. 7, 33) impuse de UEFISCDI comentariilor elaborate de evaluatori – precizia, argumentarea științifică, corectitudinea sau completitudinea – sunt într-atât de nefirești raportat la cazul de față, încât dobândesc un aer de-a dreptul candid. În consecință, consider că, înainte de a putea reclama o argumentare științifică corectă și completă, ar trebui să fie asigurată exigența minimă a consistenței logice a gândirii evaluatorilor, a gândirii care decide în privința succesului propunerii unui proiect de cercetare. Nu suntem într-o asemenea situație. Speranța unei evaluări decente este astfel interzisă, iar nedumirirea mea față de competiția PD este profundă. Mai îmi rămâne ceva de făcut? UEFISCDI pare a se fi spălat preventiv pe mâini: eventualele contestații nu pot viza comentariile din raportul de evaluare sau punctajul aferent lor. Desigur, există posibilitatea de a formula un răspuns la comentariile evaluatorilor – ceea ce am făcut deja – și de a spera că erorile din procesul de evaluare vor fi remediate. Din păcate, destinatarii răspunsului și cei care pot remedia aceste erori sunt aceiași evaluatori, cu aceeași gândire defectă logic. Nu îmi fac, prin urmare, nici un fel de iluzii.

Mi s-ar putea răspunde că defetismul meu este contrazis de reacția UEFISCDI, declanșată pesemne de semnalarea evaluărilor copy-paste. Mai exact, în data de 15 decembrie, am fost înștiințați că sesizarea abaterii unui evaluator de la „normele şi uzanţele deontologiei academice” a determinat retragerea calității de evaluator a persoanei vizate și anularea evaluărilor realizate de aceasta. Asigură însă o asemenea măsură punctuală, adoptată de UEFISCDI, reluarea în condiții profesioniste a evaluării proiectelor în cauză? În locul unei evaluări copy-paste aplicanții ar putea avea ghinionul să primească o evaluare ineptă – inconsistentă logic, imprecisă, neargumentată, incorectă sau incompletă. E drept, aceiași aplicanți ar putea avea norocul să primească o evaluare realizată de un profesionist veritabil. Dar poate sta un întreg proces de evaluare sub semnul șansei? Își poate avea locul, într-un asemenea context, discuția despre ghinion sau noroc? Dacă identificăm contextul cu competițiile PD sau TE, răspunsul este categoric afirmativ. Dar ar trebui ca lucrurile să stea așa? – Cu siguranță, nu! Soluția la problema evaluărilor deficitare, în genere, nu poate consta în simpla destituire a unui singur evaluator, ci a tuturor evaluatorilor care nu și-au putut îndeplini sarcina ce le-a fost încredințată. Nu doar evaluările copy-paste constituie o abatere de la „normele şi uzanţele deontologiei academice”, ci și evaluările care nu precizează eventualele îmbunătățiri necesare pentru un proiect depus sau evaluările neargumentate, incorecte, incomplete. Este ceea ce stipulează chiar UEFISCDI în pachetul de informații.

Ajuns în acest punct al demersului meu observ că încercarea de a mă dumiri s-a transformat într-o încercare de a pleda pentru reorganizarea competițiilor PD sau TE. Problema care se ridică, în cele din urmă, nu este cea a înțelegerii unei stări de fapt, ci a schimbării ei. Iar despre asta s-a tot vorbit, fără însă a face inutilă reluarea sau nuanțarea anumitor idei:

  1. Destituirea evaluatorilor care nu au făcut față sarcinii – asumate contra cost – de a elabora o evaluare profesionistă se lovește de penuria specialiștilor veritabili în spațiul academic românesc, capabili să preia sarcina evaluării și să se achite de ea în chip onorabil. Apelul la specialiști din afara țării – pe care îl consider legitim și întru totul adecvat – eludează totuși o problemă sistemică: nu am în vedere aici lipsa specialiștilor, cât se poate de gravă și ea, ci prezența în mediul academic românesc a unor persoane departe de orice urmă de profesionalism, dispuse să elaboreze evaluări copy-paste, sau a unor persoane cu o gândire profund incoerentă, care ajung să aibă statutul oficial de expert evaluator.
  2. Într-o asemenea situație, care ar trebui să fie atitudinea adevăraților specialiști, experți evaluatori și ei sau membri ai comunității academice românești? Se simt confortabil alături de astfel de colegi? Se simt confortabil ca membri ai unor comisii înființate de instituții care ajung să organizeze competiții precum PD sau TE? Raportat la un caz concret, care este reacția celorlalți experți implicați în evaluările copy-paste? (Fiecare evaluare a unui proiect PD sau TE are la bază rapoartele de evaluare elaborate de trei experți.)
  3. Cu privire la experții implicați în evaluările copy-paste am câteva întrebări pentru UEFISCDI, care converg însă spre o aceeași problemă. Câte proiecte au primit o evaluare copy-paste? În toate evaluările acestor proiecte, pe lângă evaluatorul destituit deja, au fost implicați și alți evaluatori comuni, adică evaluatori care să se regăsească în echipa de evaluare a cel puțin două proiecte? Dacă da, care a fost reacția UEFISCDI în raport cu acești evaluatori? Ei trebuie să fi știut că unele părți ale evaluărilor mai multor proiecte sunt identice.
  4. Consider că reacția celorlalți participanți la competițiile PD sau TE, care se consideră nedreptățiți de evaluările proiectelor depuse, ar trebui să fie una mult mai consistentă. În locul utilizării doar a unor simple calificative pentru a rezuma evaluarea primită, ar trebui oferite detalii concrete din raportul evaluativ, citate pasaje care pot exemplifica limpede nivelul de competență al evaluatorilor. Pentru și mai multă elocvență, detaliile cred că ar trebui însoțite de unele date de identificare, cum ar fi numele aplicantului și titlul proiectului. Proiectul depus de mine se încadrează în subdomeniul filosofie, poartă titlul Consecințe ale hermeneuticii infinite în fenomenologia lui Jean-Luc Marion și a obținut un punctaj estetic: 69.

Distribuie acest articol

28 COMENTARII

  1. Bună ziua, este o eroare tactică să puneți presiune pe UEFISCDI in loc să o puneți asupra Ministerului Cercetării care a interzis evaluatorii internaționali. Practc faceți jocul actualei puteri care vizează desființarea sau limitarea puternică a atribuțiilor UEFISCDI. Această instituție doar administrează procesul si nu a fost in nici un fel consultată cu privire la cine va avea drept de evaluare.

    Gânduri bune,

    • Domnule Iordache,

      problema pe care o ridicati dumneavoastra este una elementara: de unde incepem? Putem, intr-adevar, sa incepem cu hotararea de guvern care a facut posibila renuntarea la evaluatorii externi. (O astfel de abordare, foarte atent realizata, este de gasit pe blogul Doi Mici și un Anc. Eu nu as putea expune lucrurile mai bine.) Un jurnalist de investigatie, pe de alta parte, ar fi putut dezvalui anumite jocuri de culise, controlate de vreun organism paralel, care au stat la baza adoptarii respectivei hotarari de guvern. Eu am ales sa ma raportez la maniera in care UEFISCDI a gasit de cuviinta sa gestioneze situatia evaluarilor deficitare – avand ca reper “toleranta zero fata de orice forma de abatere de la normele si uzantele deontologiei academice” pe care UEFISCDI si-a asumat-o ritos. Consider ca evaluarile inepte constituie o la fel de grava abatere de la normele si uzantele deontologiei academice ca evaluarile copy-paste. UEFISCDI a intervenit intr-un caz, banuiesc ca poate interveni si in cel de-al doilea. Precum poate avea si o pozitie publica fata de faptul ca nu isi poate indeplini sarcinile care ii revin in cadrul competitiilor pe care le administreaza. Ma intorc insa la problema inceputului si intreb: exista un singur punct, optim, de plecare in abordarea unei probleme precum cea a competitiilor PD sa TE? Sunt de parere ca nu. Iar acest lucru ar fi trebuit sa fie clar din chiar textul meu, in care nu am vorbit doar despre UEFISCDI – care poate ameliora starea de lucruri! -, ci si despre calitatea mediului academic romanesc sau despre nevoia de a apela la evaluatori externi. Data viitoare am sa incerc sa fiu mai explicit. O seara buna.

      • Depinde ce urmăriți. Dacă doriți evaluări de tip MENER, AGRAL, CNMP, puteți torpila UEFISCDI.

        Gânduri bune,

        • Personal, nu ma raportez la intreaga situatie in termeni de presiune, de a face jocul cuiva, sau de intentie de a torpila. Abordarea mea este pasnica. Sunt un simplu candidat la o competitie de proiecte care s-a desfasurat prost. Am luat act, am reflectat, am reactionat. Pasnic.

          Nu stiu cum sunt evaluarile despre care pomeneati ca alternativa negativa la evaluarile de tipul celei primite de mine. Se poate mai nasol? Ma indoiesc. (In orizontul non-sensului – in care se inscrie o evaluare precum cea primita de mine – orice facultate de a distinge devine neputincioasa.) Cred insa ca se poate ma bine. Aleg astfel sa nu imi reprim nemultumirea – pe care o consider legitima si pe care am incercat sa o argumentez – doar de frica unor alte evaluari precare.

          Nu trebuie sa trageti concluzia, din spusele mele, ca as avea vreo simpatie pentru actuala putere. Dimpotriva! E evident, pentru mine, ca lucrurile merg prost si tind sa mearga si mai prost. Dar, reiau ideea, frica de mai rau nu trebuie sa paralizeze un sanatos simt critic.

          • vi s a indicat calea succesului. daca torpilati , desi nu v ati pregatit in torpiloare si nu va intereseaza sa puneti fitile, s ar putea sa aveti o sansa. ciocul mic, viata i frumoasa in RSR, trebuie doar sa stiti sa pupati stapinii inelelor.

  2. Am participat la o competiție TE la care se vedea de la 3 poște că a câștigat cine trebuie. Cine mai câștigase diverse burse interne, nu fără merite certe, evident, de multe alte ori, cam cu același proiect. Am primit câteva întrebări și observații, câteva absolut pe lângă subiect. Încă o dovadă că în România NU ai nicio șansă dacă nu ești în echipa…câștigătoare.

    • @Kassandra: toata lumea stie cum se castiga la noi proiectele; daca esti onest nici nu are rost sa participi. I rest my case…

  3. Nedumirire e nedumerire, în rest sunt total de acord cu dumneavoastră. Și aici s-au primit aceleași evaluări, aceeași „abatere de la normele deontologiei…”.

  4. Dupa o bogata experienta in domeniul aplicatiilor sunt absolut convins ca exista o mafie sau mai multe mafii (nu cunosc detaliile procesului de atribuire a proiectelor la evaluatori). Un cercetator onest afirm eu ca, practic, nu are nici o sansa de a primi un proiect. Acum doi ani m-am uitat la una din competitii: cine din universitatea mea a castigat proiecte: fostul rector, oamenii de la curtea lui, persoane din conducerea actuala a universitatii, alti indivizi cu cunostințe in minister. Am avut colegi eminenti si cu rezultate publicate in reviste care s-au trezit cu 30-40 de puncte din 100 si comentarii mistocaresti sau standard. Exemplu de evaluare: doi evaluatori normali, onesti, care evalueaza, comenteaza si dau 80 sau 90 de puncte si vine al treilea evaliuator si da 40 de puncte, fara justificari serioase. Faci contestatie si evaluatorul marinimos iti mai da 20-30 de puncte, sa te bucuri, dar ce folos, nu-ti ajung pentru a intra la finantare. Sau 2 evaluatori seriosi dau 80-90 de puncte, vine al treilea si da, incredibil, 100 de puncte. Eforturile celorlati doi evaluatori de a-l tempera in panel, nu dau rezultate. El o tine pe-a lui, da 100 si proiectul intra la finantare. Deci banuiesc ca problema este acolo unde se repartizeaza proiectele (complet netransparent) si parerea mea este ca este o problema a DNA aici. Fara transparenta si criterii clare de atribuire la evaluatori ca si modul de stabilire al evaluatorilor, banii romanilor vor fi tocati in continuare de o gasca de smecheri.

  5. Felicit incercarea dumneavoastra de a consolida dezbaterea legata de competitiile PD si TE. Ma tem insa ca suntem prea prinsi in mrejele marelui somn al constiintei profesionale pentru a sustine o asemenea dezbatere. Va doresc totusi sa ma insel si astept sa citesc si despre experientele altor tineri cercetatori.

  6. Intamplarea face sa fi fost evaluator la competiile amintite. Un evaluator roman, fara pile la minister ,la uefiscdi, etc. Singurele mele „pile” sunt web of science, google citations, si world cat….probabil de aceea am fost ales evaluator si aici si la UE, si la NSF. Nu cred in opiniile care spun ca evaluatorii straini sunt mai valorosi ca cei romani. Am castigat destule proiecte europene,dar am si pierdut alte multe, ca sa inteleg ca toata lumea e o apa si un pamant. Evaluatorii de la UE sunt un intr-un numar impresionant niste habarnisti adusi la evaluari dupa criterii de tipul sex, estul Europei, industrie, si evident o obedienta care poate fi usor confundata cu politetea. Nu de putine ori am gasit la Bruxelles functionaari si directori de la ANCS, fosti ministrii ai cercetarii si/sau invatamantului adusi la evaluare, ca mari experti. Ei bine, asta e lumea de evaluatori din Bruxelles,daca aveati vreo iluzie, imi face placere sa vi-o spulber!
    De multe ori la Bruxelles au iesit scantei cand m-am intersectat cu acesta lume care straluceste in pile si relatii de tot felul si care torpileaza din necunoastere , din mediocritate sau uneori intentionat cele mai bune proiecte. Idem cu functionarii UE,care chiar habar nu au ce fac acolo ,caci sunt rotiti periodic dintr-o directie in alta. Putini din ei chiar inteleg un proiect , o propunere de proiect buna etc.

    Ei, asta s-a intamplat si la competia TE si PD. Cei mai valorosi tineri erau sistematic subapreciati si li se luau puncte pe niste considerente mai mult decat subtiri.
    Invidia academica e una din cele mai grele, si am suportat-o cu stoicism ani la rand. Aici la aceste proiecte ale tinerii generatii, invidia, ranchiuna tasneau pur si simplu…tineri straluciti , mai buni ca evaluatorii probabil, erau depunctati , in stilul siret acedemic… „Excelent, insa…, dar,….”
    Evaluatorii mediocrii se leaga de chestii marunte ca bugetul n-a fost bine impartit, ca echipa e prea mica, ca subiectul proiectului a mai fost studiat si de x,y,z ca nu s-a citat cutare lucrare, ca riscurile nu au fost clar explicate si nici rezolvarea lor etc.
    Practic cu astfel de argumente un proiect de 96 puncte este adus in doi timpi si trei miscari la 86 de puncte…
    Ei bine, m-am batut pentru valori cu alti evaluatori, raportori, si in buna parte am reusit ca proiecte foarte bune sa ajunga in zona finatabila. Mi-a luat timp, dar am inteles inca odata cat de ranchiunos si mediocru e mediul academic romanesc. Am sia cum un gust amar.

    In incheiere, apreciz ce spune dl Virgil Iordache cu care de cateva ori am schimbat in timp diverse idei pe acest site. Sper sa inteleaga acum de ce folosesc un pseodonim.

    • Descrierea activitatii dumneavoastra de evaluator in cadrul competitiilor UEFISCDI ma duce cu gandul la haiducie. Mi-ar fi placut sa nu fie nevoie de haiduci si ma intreb daca haiducia poate fi suficienta pentru a schimba un sistem de competitii de proiecte de cercetare precum cel coordonat de UEFISCDI.

      • Nu. Eu mi-am facut doar datoria judacand obiectiv. I-am respectat pe cei care au scris, s-au straduit, au obtinut ceva . Daca haiducie inseamna sa respecti valorile, ideile cu adevarat bune si sustinute de argumente, atunci i se poate spune si asa. Nu sunt singur, sunt si altii ca mine… si sunt multi.

  7. Ca să nu mai adăugăm și faptul că s-au cerut proiecte redactate în engleză și am primit răspunsurile – cum altfel?! – în română. Chiar dacă s-a renunțat la evaluatorii externi, era cazul să avem aceleași rigori și pentru evaluatori.

  8. Pentru că lista semnatarilor este încă deschisă, mă alătur și eu comentatorilor, deoarece am luat cunoștință, ca urmare a unei propuneri de proiect depusă în cadrul competiției pentru stimularea tinerelor echipe, de rezultatul evaluării (TE-2016-2548).

    Remarc desigur stipularea conform căreia „contestaţiile nu pot avea ca obiect punctajele şi comentariile evaluatorilor”, ci doar „ca obiect exclusiv viciile de procedură considerate neconforme cu precizările din Pachetul de informaţii”. În fapt, viciile de procedură nu sunt definite ca atare niciunde în Pachetul de informații. Dincolo de ignorarea datelor anunțate în calendarul competiției, Pachetul de informații prevede redactarea propunerii de proiect în limba engleză, ca de altfel și răspunsurile eventuale la raportul de evaluare. Faptul că raportul evaluativ primit este în limba română se traduce prin viciu de procedură.

    Pe lângă această neîndeplinire a condițiilor minime în întocmirea evaluării, dat fiind că evaluatorii nu au reușit să își formuleze comentariile în limba engleză trimite la concluzia că, pe lângă limitări certe în utilizarea celei mai răspândite limbi de comunicare internațională, este foarte posibil să fi existat o lipsă de înțelegere a textului în limba engleză din propunerea de proiect. Prin urmare, nu există nicio dovadă că în aceste condiții comentariile nu sunt viciate și de neînțelegerea textului primit spre evaluare, ori faptul că tocmai aceste comentarii au stat la baza raportului pentru ședința din plen, se constituie în viciu de procedură.

    În plus, acest joc al aparentei inserții a limbii engleze care ar trebui să ateste internaționalitatea procesului de evaluare nu face decât dovada înscenării unei funcționalități de fațadă. De altfel, prof. dr. Oliver Jens Schmitt, membru al Academiei de Științe din Austria, evaluator pentru proiecte depuse la UEFISCDI într-un prim an când regularitățile anunțate erau încă neîncălcate, i-a adresat în aprilie 2013 o scrisoare ministrului Mihnea Costoiu în care se arăta îngrijorat de decizia de a se renunța la evaluatorii internaționali, subliniind rolul lor crucial în integrarea reală a cercetării românești în structurile europene. Într-un alt plan se atrage atenția asupra însemnătății implicării, respectiv în acest caz, a neimplicării de experți externi, nepărtinitori într-un astfel de lanț decizional.

    În documentul încărcat pe site-ul UEFISCDI, ca răspuns la acest articol publicat pe http://www.contributors.ro, ce atrăgea atenția asupra modalității cel puțin hazardate de evaluare, se reia specificarea din Pachetul de informații care prevedea situația în care „raportul initial de evaluare a avut un vot „nu sunt de acord”, directorul de proiect să primească fișa concatenată cu cele 3 evaluari individuale”. Această mențiune trimite în mod foarte explicit la concluzia că în „cazul” meu a sălășluit un consens deplin în ceea ce privește verdictul, atât asupra profilului directorului de proiect, cât și al proiectului în sine.

    Cred că este de datoria mea să readuc la cunoștința membrilor comisiei de evaluare că secţiunile publice din cadrul cererilor de finanţare (B1 și B3) sunt încă accesabile pe internet și deci și comparabile între ele în expresie reală, tot în egală măsură de comparabile cum sunt și evaluările realizate colegilor întocmite tocmai pe baza acelor liste de publicații și realizări științifice – cum de altfel reclamă și colegii din Cluj și Timișoara.

    Desigur că evaluatorul (în unele cazuri spre exemplu specialiști în literatură, dar răspunzători pentru proiecte din domeniul arheologiei și istoriei, deci actând ca ‘evaluatori’) are deplina libertate să emită judecăți asupra curriculum vitae și a elementelor definitorii ale realizărilor științifice remarcabile ale persoanei care depune un proiect – nu prin prisma meritelor sale, dovedite prin chiar acele realizări (nu neapărat puține), ci prin cea a deficiențelor.

    Dar modul în care alege să judece sfera directă de competențe a aplicantului și a propunerii de proiect conotează orice altceva decât acuratețe obiectivă în evaluare, și reprezintă, după cum se va vedea, vicii de procedură.

    (1) la pagina 32 din Pachetul de informații sunt stipulate criteriile după care se face evaluarea: „vă rugăm să evaluați calitatea rezultatelor cercetării directorului de proiect, așa cum rezultă din lista de publicații și/ sau brevete, cu accent pe contribuțiile ca autor principal.”

    Notarea evaluatorului la acest punct: „Cu privire la originalitatea rezultatelor directorului de proiect, impactul lor asupra stadiului actual al rezultatelor în domeniu, precum și relevanța acestora pentru prezentul proiect, descrierea de proiect cuprinde și studii care nu se află în strictă legătură cu subiectul prezentului proiect.” (!)

    Conform definiției viciului de procedură ca nerespectare a dispozițiilor așa cum sunt ele prevăzute, evaluatorul neglijează cerința de a „evalua calitatea rezultatelor cercetării directorului de proiect, așa cum rezultă din lista de publicații și/ sau brevete, cu accent pe contribuțiile ca autor principal” (!) și o modifică adăugând clauza de exclusivitate.

    Prin neaplicarea criteriului 1.1. de la pagina 32, care contravine și justificării obiectivelor enunțate la pagina 3: „creșterea capacității tinerilor cercetători”, „dezvoltarea abilităților tinerilor cercetători”, evaluatorul aplică eronat normele Pachetului de informații. În plus, dacă toate (!) studiile unui tânăr cercetător ar fi „în strictă legătură cu subiectul prezentului proiect”, se pune întrebarea de ce ar mai depune un asemenea proiect și cum și-ar putea dezvolta abilitățile ori crește capacitatea când activitatea în domeniu este deja realizată. Dincolo de acest comentariu de minimă (i)logică internă, nicăieri la punctul 1.1. nu este indicată această dispoziție.

    (2) punctul 1.2. menționează în schimb exact acest lucru, care este aplicat în mod eronat la evaluarea punctului 1.1.: „vă rugăm să luați în considerare doar (!) rezultatele relevante pentru prezenta propunere de proiect” (pagina 32).

    (3) la punctul 2.1. evaluatorul notează: „Obiectivele sunt descrise la modul general, enunțiativ, fără precizări operaționale legate de concretizarea lor. Pentru îmbunățirea propunerii de proiect obiectivele trebuie operaționalizate în sensul că trebuie precizat ce anume se urmărește, cine va realiza activitatea, cum, când, cu cine”.

    Dacă evaluatorul ar fi parcurs propunerea de proiect și nu ar fi formulat comentarii aleatorii, ar fi putut observa că aceste două critici nu își au niciun fundament, căci există pentru fiecare dintre ele menționări concludente.

    (4) Și la punctul 2.2. decizia evaluatorului este afectată de un viciu de procedură: el alege să adauge un criteriu nicăieri stipulat în Pachetul de informații: „EFICIENȚA PLANULUI DE LUCRU ÎN TIMP este imposibil de evaluat în absența diagramei Gantt.” Bazându-și așadar analiza pe această adăugire ad hoc, hotărârea este rezultatul unui viciu de procedură.

    (5) La punctul 2.2. prevede și menționarea abordărilor alternative, care nu sunt specifice și nici măcar întâlnite la proiectele din domeniul filologiei.

    (6) Și celelalte afirmații de la punctul 2.2., unele contradictorii, dovedesc că evaluatorul nu a citit nici pe departe cu atenția cuvenită descrierea proiectului și a utilizat șablonard formulări în evaluare. În mod evident, această modalitate de apreciere în condițiile unei lecturi superficiale este arbitrară și nevalidă.

    Nu am putut să nu remarc desigur scăderea punctajelor fără vreo legătură concretă cu proiectul, cu echidistanța și echilibrul ce ar trebui să fie inerente unui evaluator care se află în fața unui proiect formulat cu bună credință și pornind de la premisele unor preocupări științifice cuprinzătoare pentru etapa de existență în care se află aplicantul.

    Dacă a fi tânăr cercetător echivalează cu o anumite naivitate ori inocență, aș putea reclama că o astfel de atitudine abuzivă a evaluatorului este inacceptabilă, dar din perspectiva experienței acumulate totuși cred ca termenul potrivit pentru această evaluare nu este reavoință, nici măcar malversațiune, ci, mult mai grav, batjocură și premeditare. Și oare nu constituie ele un viciu de procedură?

    Ținând seama de competențele unei instituții care afirmă public (http://www.contributors.ro/editorial/o-noua-invenție-in-cercetarea-romaneasca-evaluarea-„copy-paste”/) că „manifestă toleranță zero față de orice abatere de la normele şi uzanţele deontologiei academice”, îmi este dificil să cred că toate aceste elemente nu ar fi fost familiare membrilor comisiilor de evaluare.

    Privind către modul de derulare a culturii instituționale și a calității ei astăzi, la aproape trei decenii după sfârșitul erei comuniste, și către asigurarea UEFISCDI de acum câțiva ani („selectarea celor mai competitivi evaluatori și a celor mai specializați în direcția aplicațiilor dumneavoastră, precum și pentru desfășurarea la cele mai înalte standarde științifice și etice ale competițiilor de finanțare a cercetării” – accesabilă la: http://tandem.nipne.ro/~dante/projects/PN2P3_43/rapoarte/CNCS2AVRIGEANU%20VLAD_29-11-2012.pdf), de fapt se poate remarca doar crunta ironie a unei realității ce le contrazice drastic, reliefând încă o dată, dacă mai era nevoie, modul în care cel mai înalt for al finanțării cercetării românești se raportează la deontologia academică.

    • Imi este greu sa pun laolalta caracteristicile care rezulta din evaluari problematice – cum este cea descrisa de dumneavoastra – si sa obtin imaginea unei gandiri consistente, cea a evaluatorului. Probabil din acest motiv apare tentatia, aproape de nestavilit, de a lua in calcul date suplimentare, care nu rezulta din evaluarea propriu-zisa si care fac rau competitiei ca atare si institutiei organizatoare, imaginii evaluatorilor in ansamblul lor si chiar gandirii competitorilor. Astfel de date pot fi interesul ascuns al evaluatorului, care ii dicteaza sa nu fie onest, sau vreun conflict personal al evaluatorului cu participantul. Oricat de nocive, introducerea unor asemenea date raspunde unei nevoi firesti de sens. Desigur, exista posibilitatea de a trage concluzia – greu de acceptat, dar pesemne singura cu adevarat legitima – ca evaluatorul este nefericitul posesor al unei gandiri incompatibile cu sarcina ce i-a fost atribuita. In acest caz, responsabilitatea nu mai este a lui, ci a institutiei care i-a conferit statutul de expert evaluator si a institutiei care ii tolereaza statutul acesta.

  9. Salut, Sergiu!

    Pentru că ai pomenit mai sus de articolele noastre de blog (Doi Mici și un Anc), nu știu dacă ești la curent cu cele două scrisori deschise pe care le-am publica acolo: una adresată directorului UEFISCDI, la care am primit răspuns, iar cea de-a doua adresată membrilor CNCS, ca urmare a răspunsului primit de la UEFISCDI (răspunsul se lasă încă așteptat).

    Pe scurt, problema care se pune este dacă au fost respectate criteriile minime impuse pentru a putea fi evaluator în competițiile PD și TE. Dacă acestea au fost respectate, și un evaluator la TE a avut patru articole ca și autor principal în reviste din top 50%, iar unul la PD a avut două articole de acest fel, atunci e relativ OK. Dacă nu au fost respectate (lucru care va putea fi verificat imediat ce se afișează listele evaluatorilor folosiți) e deschisă calea atacării în instanță a MCI pentru nerespectarea pachetului de informații și implicit anularea competițiilor.

    Dar evident că lucrurile sunt mai complicate decât simpla îndeplinire a criteriilor de mai sus. Vezi detalii în cele două scrisori.

    Linkurile spre scrisorile deschise:
    http://mic-mic-anc.ro/2017/12/19/scrisoare-deschisa-uefiscdi/
    http://mic-mic-anc.ro/2017/12/21/scrisoare-deschisa-adresata-cncs/

    Numai bine,
    Mihai (unul din cei Doi Mici și un Anc)

    • Salut,

      Da, stiam de cele doua scrisori si de raspunsul UEFISCDI. Sunt si eu foarte curios sa aflu raspunsul CNCS, chiar daca va fi unul foarte intarziat, precum sunt foarte curios sa vad listele cu evaluatorii proiectelor.

      Va felicit pentru postarile de pe blog.

      Sergiu

    • Buna Mihai,

      Cred ca esti prea optimist daca iti imaginezi ca vor publica lista cu evaluatorii pentru fiecare competitie in parte, cel mai probabil vor afisa – dupa ce va trece ceva timp de la afisarea rezultatelor finale si eventual inceperea contractarii – o lista cu toti evaluatorii.

      • @T,

        La UEFISCDI a devenit un standard publicarea listelor de evaluatori pentru fiecare competiție în parte. Și salutăm acest lucru! E drept că a trimis Ad Astra câteva cereri de acces la informații publice pentru aceasta, dar în general listele sunt defalcate pe competiții.

        Dacă pentru competițiile în discuție aici (PD și TE) nu s-ar respecta acest standard, am putea specula că se urmărește mușamalizarea unor informații.

        Legea nu obligă, într-adevăr, operatorii de program să defalce listele pe competiții, ci obligă doar publicarea unei liste generale. Dar eu zic să lăsăm UEFISCDI să confirme că e o instituție în dezvoltare și perfecționare continuă și că aderă la ideea de transparență (în evaluare, decizională etc.).

        @Sergiu,
        Mulțumim.

  10. Mi se pare jenantă toată discuția despre copy-paste-ul din cadrul evaluărilor. Sunt niște EVALUĂRI, nu opere literare. Trebuie să spună dacă au fost sau nu îndeplinite niște criterii. Ce ar fi fost dacă evaluatorul ar fi scris pentru două sau mai multe proiecte: „personalul are experiență” sau „bugetul a fost bine structurat”, nu ar fi fost tot copy-paste? Ba da, dar atunci n-ar fi supărat nimeni. Problema reală nu o reprezintă evaluatorii ci modul de prezentare al proiectelor. Am experiență destul de îndelungată în management de proiecte (inclusiv de cercetare) în domeniul privat, dar am făcut și evaluări pentru pentru proiecte de cercetare (parteneriate si nucleu). Cel puțin pentru acestea pot spune că nu ar fi trecut niciunul de un comitet director în mediul privat, pentru că nu există o legătură clară între activități – buget – rezultate. Totul ține de „feeling” la evaluare. N-am văzut nicio contestație că structura de proiect nu ar fi adecvată pentru a scoate în evidență legătura de mai sus (activități-buget-rezultate), ceea ce-mi dă de înțeles că tuturor participanților le-a convenit faptul că pot umfla bugetul și apoi să se țigănească pentru nu știu ce motive aberante.

    • O statistica publicata pe HN in urma cu cateva zile plasa Romania pe ultimul loc la industria bazata pe cunoastere si la inovare.

      Asa arata un mediu de afaceri supus presiunilor:
      – salarii exagerate in sectorul public
      – imprevizibilitate a fiscalitatii (problema nu e impozitul mare sau mic, pentru ca impozitoul – indiferent cat e – eszte inclus in planurile de afaceri
      – adminiatratia publica agresiva si plina de ura fata de sectorul privat

      …si as mai putea continua.

      Asa ca devine simplu si foarte rentabil sa „accesezi” fondurile de cercetare, impanate si ele cu tot felul de incompetenti si impostori pe post de „evaluatori”, proiecte „monitorizate” apoi aiurea, fara nici un impact pe nicaieri.

      Confundam „cercetarea” sterila cu cercetarea fundamentala.

      Cunosc persoane foarte sus plasate, cu nume in mediul academic de o incompetenta strigatoare la cer. Persoane care dispar intotdeuna la partea de discutii din confenrite, care descriu cu morga incredibila ce se poate face in domeniul lor, dar niciodata ce au facut. Persoane ocupate cu critica altora pentru a nu se vedea propria lor incompetenta.

      Dupa cum cunosc „evaluatori” care nu au facut niciodata nimic in domeniul pe care il evalueaza. Personaje fudule, de o prostie fara de margini, incompetente dar plasate in pozitii cheie.

      Cel mai grav este insa ca nu poti sa treci de ele. Asemenea imbecili hotarasc ce e stiintific si ce nu iar contrazicerea lor e imposibila pentru ca au CV-uri uriase.

      Asa ca va dau perfecta dreptate: in mediul privat nici 0,01% din toti cercetatorii si evaluatorii nu ar avea nici o sansa. Iar in strainatate – nici atat.

      Nu vreau sa ma enervez gandindu-ma la asa-zisele „teme de cercetare” – nu ma refer la cele finantate de institutia din articol, nu vreau sa reiasa nici o aluzie la nici un fel de organism de finantare romanesc, obsevartiile mele au doar caracter general.

      Am vazut niste aberatii monumentale finantate cu bani grei. Evalutori plini de icre care dadeau la cap cercetatorilor onesti (pentru ca din nefericire pentru ei mai sunt si din acestia).

      Nu, nu banii gonesc pe cei buni din Romania ci statuia virtuala ridicata incompetentei. Perspectiva unei vieti in care ai de ales intre a „te conforma” sau a te apuca de baut. Perspectiva unei vieti pentru copii care sa o intreaca in marasm si marsavie pe cea a parintilor lor. Aceste negre perspective lasa aici doar naivii sau nepasatorii.

      ===

      Asa arata Romania national-socialista: plina de ifose nationaliste, risipitoare cu banul public si cu un profund dispret fata de competenta reala. In Romania national-socialista sectorul privat exista doar pentru a fi injurat si muls,

      Solutia? Un stat minimal cu cheltuieli minimale. M-am tot gandit ce ar trebui facut in educatie, si am realizat cu spaima ca este imposibil sa ai o educatie buna daca nimeni nu are nevoie de ea. La fel, nu poti avea cercetare buna daca nu exista competetia sectorului priovat de afaceri pentru competenta umana in cercetare si nici daca statul finanteaza in nestire tot fel de aberatii,

    • Problema umflării bugetului este reală, dar ar putea fi rapid tranșată în cadrul unor ședințe de panel cu experții evaluatori. În pachetele de informații este menționată negocierea finală a bugetului, ulterior afișării rezultatelor finale. Dar aceasta fie nu are loc, fie are loc având de celalată parte a mesei niște funcționari publici care au primit ordin să taie de la bun început x% din buget; sau nici măcar atât, ci doar un email cu „redimensionați bugetul prin diminuare cu x%”.

      Negocierea bugetului final trebuie să aibă loc! Și ea trebuie să se bazeze mai ales pe observațiile evaluatorilor. Iar aceste observații trebuie să fie argumentate, nu jumătăți de propoziție; același lucru este valabil și în cazul acordării punctajelor la celelalte puncte din fișa de evaluare. Consider că pentru cei 200+ lei pe care îi încasează un evaluator per proiect poate face minimul efort să articuleze minim un paragraf per secțiune din fișa de evaluare. De aici a plecat discuția cu copy/paste.

      Dar trebuie avută foarte mare grijă la componența acestor paneluri, care au puterea să taie peste punctajul dat de cei 3 evaluatori! Și din informațiile pe care le avem acest lucru chiar s-a întâmplat la competițiile de mai sus. În scrisoarea deschisă pe care am trimis-o CNCS le sugeram ca la competițiile viitoare să utilizeze modelul ERC Grants, unde „Before the deadline of a call, the names of the Panel Chairs are published on the ERC website. Similarly, the names of Panel Members are published, however, after the evaluation process is concluded.” În acest fel responsabilizezi președintele de panel și membrii acestuia, reputația fiindu-le afectată în caz de nereguli. Din păcate la noi aceste paneluri sunt acoperite cu o mantie a invizibilității.

      • Sunt de acord că de banii pe care îi ia, evaluatorul trebuia sa scrie măcar o frază, dar mi se pare aiurea să începi să strigi că vrei să vezi CV-urile evaluatorilor. Poate o să le afișeze și ce vei obține, un alt motiv de scandal? Dacă te ține cureaua și vrei să rezolvi problema în esența ei, vei cere competiție pe fonduri alocate și rezultate asumate (carti, articole ISI, brevete, metode, prototipuri, etc) și ca la fondurile europene: n-ai facut, tăiem din bani. Trebuie să faci astfel încât evaluatorii să devină doar simple instrumente care fac o verificare de conformitate. La cursul de business analyst te învață că, în cadrul unei firme, R&D-ul este centru de profit (creează valoare), în România nu văd această valoare.

        • „în cadrul unei firme, R&D-ul este centru de profit (creează valoare),”

          De acord, numai ca fondurile bugetare pentru cercetare nu au nici o legatura cu finantarea cercetarii intr=o firma.

          Tocmai asta e problema: nu exista cercetare in mediul privat, asa incat finantarea de la stat nu are concurenta in ce priveste resursa umana. In general, sectorul de stat a ajuns sa plateasca mai bine decat cel privat sau cel putin sa ceara mai putin pentru banii dati.

          Cat timp in Romania va exista numai „cercetare” finantata de la stat, proiectele de cercetare vor fi mereu chestionabile. Ca si evaluarea lor.

        • De CV-urile evaluatorilor nici eu nu am nevoie. Însă dacă în Pachetele de Informații ale competițiilor se impun criterii minime de impact (scientometric vorbind) pentru aplicant și pentru evalator (lucru pe care eu îl salut), atunci acestea trebuie respectate. Filtrul acesta mi se pare deosebit de important, pentru că la nivelul evaluatorilor naționali (cu care operează mai nou ministerul) se realizează astfel o triere relativ bună. Avem destui Confi și Profi care nu îndeplinesc această minimă cerință, dar care s-ar fi calificat ca evaluator conform noilor dispoziții de la minister (vezi Act Adițional nr 3 dintre MCI și UEFISCDI).

          Evaluarea proiectelor ex-post este o altă mare problemă în România, așa cum spuneți și dvs. Practic, în România acest lucru nu se întâmplă. Dacă câștigi un proiect poți fi sigur că nimeni nu-ți va lua banii înapoi, indiferent ce faci. Sau, mai rău, ești evaluat de formă, se mai cheltuie și acolo niște bani publici, și apoi se „redimensionează” bugetul „din pix”, cum decide ministerul. Au fost competiții unde s-a făcut evaluare intermediară și ulterior bugetul tuturor proiectelor a fost diminuat cu 40%, indiferent de nota obțiunută la evaluare…

          Și da, evaluatorii trebuie să fie aproape de acele „simple instrumente care fac o verificare de conformitate”, cum spuneți dvs., iar pentru aceasta trebuie să li se pună la dispoziție o fișă de evaluare corespunzătoare, care să nu lase loc de subiectivism, cum este acum. Iar dacă acesta nu poate fi evitat este de dorit să poate fi corectat în ședințele de panel. Iar acestea, cum spuneam mai sus, trebuie să fie construite pe modelul celor de la ERC Grants.

  11. Sunt evaluatori si evaluatori, metode si metode de evaluare, dar si propuneri de proiecte, care mai de care neancorate la realitatile vremii…la obiectivele programului pentru care se face finantarea!

  12. Am si eu o curiozitate personala/profesionala, unde pot gasi listele evaluatorilor la PCE 2016 si ultimele TE? Cele de pe UEFISCDI, din niste situatii multianuale, nu au linkuri functionale,
    Mai este cineva pe aici, o mai sti cineva ceva despre aceste liste pe care onor-uefiscdi nu le afiseaza „la avizier”?
    Multumesc

LĂSAȚI UN MESAJ

Vă rugăm să introduceți comentariul dvs.!
Introduceți aici numele dvs.

Autor

Sergiu Sava
Sergiu Sava
Doctor in filosofie al Universitatii Al. I. Cuza. Membru al Societatii Romane de Fenomenologie; membru in board-ul editorial al revistei Meta; a beneficiat de mai multe burse de cercetare in strainatate.

Sprijiniți proiectul Contributors.ro

Pagini

Carti noi

 

Cu acest volum, Mirel Bănică revine la mai vechile sale preocupări și teme de cercetare legate de relația dintre religie și modernitate, de înțelegerea și descrierea modului în care societatea românească se raportează la religie, în special la ortodoxie. Ideea sa călăuzitoare este că prin monahismul românesc de după 1990 putem înțelege mai bine fenomenul religios contemporan, în măsura în care monahismul constituie o ilustrare exemplară a tensiunii dintre creștinism și lumea actuală, precum și a permanentei reconfigurări a raportului de putere dintre ele.
Poarta de acces aleasă pentru a pătrunde în lumea mănăstirilor o reprezintă ceea ce denumim generic „economia monastică”. Autorul vizitează astfel cu precădere mănăstirile românești care s-au remarcat prin produsele lor medicinale, alimentare, cosmetice, textile... Cumpara cartea de aici

Carti noi

În ciuda repetatelor avertismente venite de la Casa Albă, invazia Ucrainei de către Rusia a șocat întreaga comunitate internațională. De ce a declanșat Putin războiul – și de ce s-a derulat acesta în modalități neimaginabile până acum? Ucrainenii au reușit să țină piept unei forte militare superioare, Occidentul s-a unit, în vreme ce Rusia a devenit tot mai izolată în lume.
Cartea de față relatează istoria exhaustivă a acestui conflict – originile, evoluția și consecințele deja evidente – sau posibile în viitor – ale acestuia. Cumpara volumul de aici

 

Carti

După ce cucerește cea de-a Doua Romă, inima Imperiului Bizantin, în 1453, Mahomed II își adaugă titlul de cezar: otomanii se consideră de-acum descendenții Romei. În imperiul lor, toleranța religioasă era o realitate cu mult înainte ca Occidentul să fi învățat această lecție. Amanunte aici

 
„Chiar dacă războiul va mai dura, soarta lui este decisă. E greu de imaginat vreun scenariu plauzibil în care Rusia iese învingătoare. Sunt tot mai multe semne că sfârşitul regimului Putin se apropie. Am putea asista însă la un proces îndelungat, cu convulsii majore, care să modifice radical evoluţiile istorice în spaţiul eurasiatic. În centrul acestor evoluţii, rămâne Rusia, o ţară uriaşă, cu un regim hibrid, între autoritarism electoral şi dictatură autentică. În ultimele luni, în Rusia a avut loc o pierdere uriaşă de capital uman. 
Cumpara cartea

 

 

Esential HotNews

contributors.ro

Contributors.ro este intr-o permanenta cautare de autori care pot da valoare adaugata dezbaterii publice. Semnaturile noi sunt binevenite cata vreme respecta regulile de baza ale site-ului. Incurajam dezbaterea relaxata, bazata pe forta argumentelor.
Contact: editor[at]contributors.ro