Home » Educatie »Opinie » Citesti:

O nouă invenție în cercetarea românească: Evaluarea „copy-paste” (Actualizat cu raspunsul UEFISCDI)

Iovan Drehe decembrie 12, 2017 Educatie, Opinie
24 comentarii 6,913 Vizualizari

În atenția d-lui Adrian Curaj,

director general al  UEFISCDI,

Subsemnații, conf. dr. Andrei Bereschi, asist. dr. Mihai Rusu, dr. Iovan Drehe, am constat în urma confruntării evaluării proiectelor pe care le-am depus la competiția „Proiecte de cercetare pentru stimularea tinerelor echipe independente”, identificator PN-III-DCD-RU-TE-2016-1, că, în cazul a cel puțin cinci propuneri de proiecte de cercetare, evaluarea făcută de un evaluator este viciată din punctul de vedere al normelor și uzanțelor deontologice academice. Cu privire la această situație neplăcută, ținem să va supunem atenției următoarele fapte:

1. În primul rând, se poate dovedi clar că același evaluator a fost implicat în evaluarea tuturor proiectelor noastre pe baza observării formulărilor identice, care se repetă de la un proiect la altul. Porțiuni semnificative din evaluările respectivului evaluator sunt prefabricate „copy-paste”. Acest lucru este evident, de pildă, la comentariul evaluativ de la capitolul buget, secțiunea 2.3., unde, deși bugetele proiectate diferit corespund unor proiecte total diferite, evaluarea este, cuvânt de cuvânt, aceeași:

Evaluarea 1 (proiect Andrei Bereschi): „Bugetul este supraevaluat construit, existând o slabă corespondență între planul de lucru, obiective și activități; la capitolele mobilități și achiziții bugetul este supraevaluat.”

Evaluarea 2 (proiect Iovan Drehe): „Bugetul este supraevaluat construit, existând o slabă corespondență între planul de lucru, obiective și activități; la capitolele mobilități și achiziții bugetul este supraevaluat.”

Evaluare 3 (proiect Mihai Rusu): „Bugetul este supraevaluat construit, existând o slabă corespondență între planul de lucru, obiective și activități. La capitolele mobilități și achiziții bugetul este supraevaluat, propunem corecții in acest sens.”

Exact aceleași observații, formulate identic, apar în cazul a încă 2 proiecte de cercetare ale căror directori au preferat să rămână anonimi.

Să luăm, de exemplu, propoziția „la capitolele mobilități și achiziții bugetul este supraevaluat”:

La achiziții proiectele menționate au următoarele bugete: A. Bereschi – 30500 RON; I. Drehe – 15800 RON, M. Rusu – 57200 RON. La capitolul mobilități: A. Bereschi 30500;; I. Drehe – 51500; M. Rusu – 61000.

Ce înseamnă „supraevaluare” în acest caz din moment ce bugetele la acest capitol sunt atât de diferite? Comparativ bugetele comportă discrepanțe majore! Dacă atât suma de 51750, cât și suma de 15800 înseamnă în egală măsură pentru acest specialist-evaluator „supraevaluări”, ne întrebăm care este orizontul de valoare de achiziție în care se plasează „ponderat” acesta? Să ne limităm oare la hârtie și creion? Să îndrăznim și niște cretă? O mașină de scris? Este destul de clar că nu au fost nicidecum luate în considerare niște costuri minimale necesare pentru ca cercetarea din țara noastră să nu mai fie nevoită să bată la poarta cercetării de performanță la nivel internațional, aceasta în contextul unor competiții subfinanțate cronic în ultimii ani. Adevărul este însă că evaluarea a fost făcută într-atât de batjocoritor încât evaluatorul nu s-a deranjat nici măcar să schimbe minimal textul, repetând (atenție!, pe bani buni, căci evaluatorii sunt plătiți pentru fiecare proiect): „Bugetul este supraevaluat construit, existând o slabă corespondență între planul de lucru, obiective și activități.”. Ce contează că niște cercetători au depus eforturi câteva luni cu scrierea unor proiecte, diferite, și că au intenții oneste, respectiv potențial să facă cercetare serioasă, atâta vreme cât evaluăm în felul acesta.

2. În al doilea rând, aceste evaluări au fost făcute unor proiecte foarte diferite tematic: filosofie antică, teoria argumentării, istoria teoriei argumentării, filosofie medievală, istoria filosofiei politice, filosofie politică medievală, aristotelism și comentatori medievali, filosofie modernă, filosofie contemporană, teorie critică, teorie instituțională, filosofia limbajului, filosofie continentală, filosofie analitică, etică , logică modală ș.a. Orice specialist în domeniu cu minime competențe este conștient că nu există un evaluator care să aibă o asemenea competență „de respirație largă”. Ce este și mai trist: este foarte probabil că, dacă se vor verifica și alte proiecte evaluate de domnia sa, se va putea constata că aria tematică a așa-ziselor sale competențe este și mai largă. Ce s-a întâmplat de fapt în această situație? Este vorba despre aceeași batjocorire a proiectelor tinerilor cercetători, dar și a mecanismului de evaluare la care omul acesta ia parte. O mare problemă este dată de faptul că el nu ia parte fraudulos (concedem noi) la procesul de propășire al dezvoltării tinerilor cercetători, ci a „îndeplinit standardele”, a completat „rubricile cu itemi”, a fost „filtrat” și „selectat”, a depus „CV”, a „intrat pe platformă”. Ce mai înseamnă toate aceste lucruri fără bună credință, să rămână o temă de meditație „instituțională” pentru dumneavoastră, domnule director! Este posibil ca un om a cărui halucinantă competență și ton categoric ce aduc aminte de vremuri mai funeste să expedieze cu fraze șablon proiecte din arii tematice foarte diferite? Se pare că este nu doar posibil, ci chiar real: anume în instituția pe care o conduceți, în mecanismele obiective de evaluare pe care le implementați, între oamenii pe care îi selectați și în virtutea sumelor de bani cu care îi plătiți.

3. În al treilea rând, aceste proiecte cu teme ce reclamă specialități diferite au fost evaluate și punctate diferit pe baza aceluiași tip de obiecții, metoda șablonardă a formulării identice revenind în același ton. Dar aici eficiența evaluativă se rafinează: prin conținutul lor, obiecțiile nu indică defel că se referă anume la proiectului evaluat. Nu, ci remarcile sunt din nou ticluite astfel încât să fie bune la tot și la toate, iar, nu-i așa, evaluarea să meargă repede și să fie „evaluate” contra cost cât mai multe proiecte. Se remarcă și preocuparea (minimală), pentru variație în acoperirea urmelor, ocazie cu care evaluatorul nostru confundă groaznic metodologia cu metoda. Iată:

Evaluarea 1 (proiect Andrei Bereschi): la secțiunea 2.2. „Metodologia și planul de lucru sunt foarte bune, dar cu mult loc de îmbunătățiri: nu sunt bine delimitate obiectivele de activitățile asociate fiecărui obiectiv; nu se acordă importanță publicării rezultatelor cercetării în reviste internaționale prestigioase; mai este loc de îmbunătățiri și în ce privește abordările alternative ale temei cercetate.”

Evaluarea 2 (proiect Iovan Drehe): secțiunea 2.2. „Metoda, planul de lucru, instrumentele și resursele sunt, în general, bine prezentate. Îmbunătățiri: nu se acordă importanță publicării rezultatelor cercetării în reviste internaționale de prestigiu; planul de lucru ar trebui să fie mai detaliat (adică mai concret, cuprinzând obiective și activități pentru fiecare obiectiv).”

Mai există cel puțin o evaluare în cazul unui proiect al cărui director a preferat să rămână anonim, unde apare următoarea frază, care prezintă aceleași idei cu modificări minimale “Metoda, planul de lucru, instrumentele și resursele sunt, în general, bine prezentate. Îmbunătățiri: nu se acordă importanță publicării rezultatelor cercetării în reviste internaționale de prestigiu; nu sunt menționate abordări alternative; planul de lucru ar trebui să fie mai detaliat.”

Desigur, punctajele date de acest evaluator în urma unor comentarii identice sunt foarte diferite. Se observă și aici aceleași asemănări evidente. În proiectului dlui Andrei Bereschi se menționează clar că publicațiile avute în vedere sunt „reviste de prestigiu”, iar în proiectului dlui Iovan Drehe sunt menționate explicit chiar și titlurile revistelor avute în vedere (după cum veți putea verifica dacă vi se pun la dispoziție propunerile de proiect). Or, evaluatorul spune următoarele în fiecare dintre evaluări: „nu se acordă importanță publicării rezultatelor cercetării în reviste internaționale de prestigiu”. O asemenea afirmația dovedește că evaluatorul nu a citit defel sau nici pe departe cu atenția cuvenită aceste proiecte și s-a mulțumit să dea „copy-paste” observației în fiecare dintre cazuri. În mod evident, orice evaluare în condițiile unei asemenea lecturi este abuzivă și invalidă.

În urma acestor constatări putem se pot trage (cel puțin) următoarele concluzii:

1. Este puțin probabil ca respectivul evaluator să aibă competențe atât de diverse încât să poată evalua corect toate aceste proiecte. A se vedea aria tematică prezentată la punctul 2 de mai sus.

2. Evaluatorul dovedește că și-a prefabricat șabloane de apreciere și le-a utilizat premeditat pentru evaluarea unor proiecte foarte diferite. Diferențierea din punctaje nu este congruentă cu diferențierea din aprecieri (ele fiind dovedite ca șabloane identice la fiecare proiect). Acest lucru este în contradicție cu statutul său de evaluator și, credem noi, invalidează toate evaluările făcute de acest evaluator.

3. Evaluatorul se dovedește inconsistent din perspectiva punctajelor acordate pe baza aceluiași tip de observație adusă la proiecte diferite tematic și calitativ. Evaluatorul este fraudulos și toate semnele indică faptul că și-a făcut un sistem prin care ia bani din evaluări printr-un efort minim. Scurt spus, fraudează sistemul de evaluări din interiorul său.

Considerăm că ceea se poate observa mai sus la punctele 1, 2 și 3 este suficient încât să lămurească incorectitudinea evaluatorului avut în vedere și, de aceea, contestăm prin prezenta toate evaluările la care a luat parte. Acest mod de a evalua este în evidentă contracție cu normele și standardele etice ale comunității noastre academice, cât și cu cele cerute evaluatorilor în Pachetul de informații.

Având în vedere aceste chestiuni, vă cerem respectuos, domnule director general Adrian Curaj, următoarele:

1. Verificarea tuturor evaluărilor efectuate de respectivul evaluator pentru a elimina și alte abuzuri în cazul altor proiecte și înlocuirea acestuia în fiecare proiect evaluat însoțită de anularea punctajului acordat de acesta.

2. Anularea contractului cu respectivul evaluator și interzicerea de a participa la evaluări în următoarele competiții.

3. Aducerea la cunoștință a numelui și cv-ului respectivului evaluator pentru ca, în cazul în care va mai participa, totuși, ca evaluator, să poată fi evitat de oricine dorește (cf. Pachet informații, p. 7).

Având în vederea seriozitatea inerentă a unui asemenea proces de evaluare, fiind implicate, pe de o parte, resursele bugetare naționale și, pe de alta, posibilitățile de cercetare ale unor tineri cercetători, vă rugăm să acordați importanța cuvenită rezolvării acestui abuz.

Data

12.12.2017

Cu deosebită considerație,

dr. Andrei Bereschi

dr. Iovan Drehe

dr. Mihai Rusu

PS: Lista semnatarilor rămâne deschisă. Îi rugăm pe toți cei care au participat cu proiecte în cele două competiții, „Proiecte de cercetare pentru stimularea tinerelor echipe independente” și „Proiecte de cercetare postdoctorală”, și se află în această situație (recunoscând aceleași formulări) să se adauge nominal și eventual cu exemple la această listă printr-un comentariu sau prin alte mijloace.

Raspuns UEFISCDI

Proces de evaluare competiţie

Proiecte de cercetare pentru stimularea tinerelor echipe independente (TE)

Având în vedere că în spațiul public a fost semnalată o posibilă abatere de la normele şi uzanţele deontologiei academice a unui expert evaluator în cadrul competiției 2016 pentru Proiecte de cercetare pentru stimularea tinerelor echipe independente (TE), facem următoarele precizări:

  • În calitate de coordonator administrativ al competiției, Unitatea Executivă pentru Finanţarea Învăţământului Superior a Cercetării Dezvoltării şi Inovării (UEFISCDI) a informat Consiliul Naţional al Cercetării Ştiinţifice (CNCS), care este coordonatorul ştiinţific al competiţiei, pentru a analiza situaţia;
  • UEFISCDI manifestă toleranță zero față de orice abatere de la normele şi uzanţele deontologiei academice;
  • Dorim să mulțumim tuturor celor care au semnalat/semnalează astfel de cazuri şi îi asigurăm că vom întreprinde toate demersurile necesare, ce intră în competenţa noastră de coordonator administrativ al competiţiei, de a soluţiona/evita situaţii de acest gen;
  • Procesul de evaluare peer-review a presupus validarea/selectarea experţilor evaluatori de către CNCS din platforma www.brainmap.ro, aprobarea de către MCI a listelor experţilor evaluatori validaţi de CNCS şi alocarea automată, prin platforma de evaluare www.uefiscdi-direct.ro, a propunerilor de proiecte declarate eligibile;
  • Propunerile de proiecte sunt evaluate de experţi recunoscuţi internaţional care îndeplinesc o serie de criterii de eligibilitate prezentate în pachetul de informaţii. Fiecare evaluator îşi declară în scris imparţialitatea şi competenţa în domeniul căruia îi aparţine propunerea de proiect supusă evaluării, precum şi confidenţialitatea. Evaluatorul se obligă ca în orice moment, pe parcursul procesului de evaluare, dacă constată că una dintre aceste condiţii nu este satisfăcută sau că se găseşte în conflict de interese, să notifice în scris UEFISCDI. Responsabilitatea acordării punctajelor şi comentariilor revine în totalitate experţilor evaluatori.

Pentru descrierea în detaliu a procesului de evaluare, vă rugăm să consultați documentul disponibil aici.

Ai informatii despre tema de mai sus? Poti contribui la o mai buna intelegere a subiectului? Scrie articolul tau si trimite-l la editor[at]contributors.ro



Currently there are "24 comments" on this Article:

  1. QwA spune:

    Domnule, sunteți naiv? Dintotdeauna granturile au fost date așa. O dată, mi-au respins un proiect pentru motive care erau flagrant neadevărate și toate venind de la un singur evaluator. În alte competiții, lansarea are loc când cei avizați au deja scrise proiectele iar timpul de depunere este ridicol de scurt. Paleta de malversațiuni în domeniu se compară cu cea a acordării proiectelor din bani publici pentru plantat panseluțe, reparații și construcții etc.

    Mai bine propuneți constituirea unei baze publice de date cu toate rapoartele proiectelor de cercetare făcute din bani publici: atunci vă veți pune mâinile-n cap!
    Oameni precum prof. Curaj nu au nici o vină decât pe aceea de abandona cercetarea și catedra pentru funcții și, pe baza realizărilor anterioare științifice, se droghează cu ideea că sunt buni la orice fel de management și acționează zelos și cu ochelari de cal. Ca și cei din ARACIS, ca și cei din minister, ca mulți din staff-urile universităților … Până când cineva se va întreba de ce această discrepanță: profesori tot mai performanți și tot mai abilitați și citați, pe de-o parte, și absolvenți tot mai slabi, pe de alta.
    Sunteți tineri, intrați în proiecte europene și intrați în cercetarea din lumea mare și nemăsluită de găinari cățărați pe o funcție, care nu au nici măcar bunul simț să argumenteze o decizie.

  2. dr. Madalin Onu spune:

    Candidat in cadrul competitiei “Proiecte de cercetare doctorala” (PD) (P1 “Dezvoltarea sistemului national de cercetare-dezvoltare”, Subprogramul 1.1, “Resurse umane”).
    Acelasi rasunsuri l-am primit si eu referitor la “buget” si “metodologie”. Fireste, punctajele difera.
    Ridic si urmatoarea problema. Proiectele au fost redactate in limba engleza, in vederea evaluarii de catre o comisie internationala. Dat fiind ca au fost evaluate de romani, doresc ca UEFISCDI sa faca dovada competentei lingvistice a acestora (lb. engleza), prin diplome sau atestate emise de autoritati competente. Amintesc ca, de pilda, pentru admiterea la doctorat, unde se cerea cunoasterea unei limbi de circulatie internationala, verificarea acestui lucru nu s-a facut “pe incredere”, ci ne-au fost solicitate astfel de documente.

    • Elena Crinela Holom spune:

      Bună seara!

      Eu am primit o (ne)evaluare extrem de generală. Probabil, a mai fost distribuită și altor proiecte. Doar că, deocamdată, nu am identificat paste-ul. Vă rog să dați de știre dacă ați primit comentarii identice/simliare celor de mai jos. Mulțumesc!

      Directorul de proiect a realizat cercetări individuale originale, concretizate prin publicare (ca singur autor), unele dintre acestea fiind relevante pentru această propunere, constituind-se într-un bun punct de plecare în cercetare. Cercetările anterioare valorificate prin publicare au originalitate și au fost supuse dezbaterii în diverse reuniuni internaționale.

      Directorul de proiect a mai participat, în calitate de membru, dar și de lider, la alte proiecte de cercetare. Vizibilitatea la nivel internațional este destul de ridicată. Performanța în publicații este bună cu mențiunea că multe dintre ele se află în același loc (centru universitar) unde directorul de proiect își desfășoară activitatea.

      Cercetarea propusă are un caracter interdisciplinar cu un grad de dificultate apreciabil. Obiectivele de cercetare și metodele de satisfacere a lor sunt prezentate cu claritate . Există în mod cert un bun potențial de a avansa cunoștiințele în domeniu și subliniem dimensiunea euristică a acestui tip de cercetare.

      Planul de lucru și metodele propuse sunt concret prezentate și fezabile. Livrabilele au fost menționate și diseminarea a fost propusă în reviste de prestigiu. Abordările alternative nu au fost clar formulate. Structura echipei de cercetare este coerentă ( unii membri au mai lucrat împreună în proiecte de cercetare anterioare) și complementaritatea membrilor asigurată astfel. Se consideră că nu sunt riscuri și, în consecință, nu sunt menționate abordări alternative.

      Bugetul este echilibrat și adecvat proiectului de cercetare propus. Există o bună corespondență între planul de lucru și bugetul propus.

  3. Fabian Curaj spune:

    Dragi colegi,

    vreau doar sa sesizez o usoara eroare care traverseaza intreaga voastra argumentatie: faptul ca ati primit comentarii identice nu implica, cu necesitate, faptul ca acestea ar fi elaborate de un acelasi evaluator. La fel de bine – chiar mult mai plauzibil, in situatia data – comentariile primite pot sa nu fie rezultatul unei evaluari veritabile, incat presupusul evaluatorul poate fi intruchipat de orice functionar al UEFISCDI, care capata astfel competente maxime in filosofie. Singurele parti in aceasta disputa sunt aplicantii si institutia finantatoare, iar daca voi vreti sa luptati pentru o cauza generala, nu personala, trebuie sa luati in calcul aceasta ipoteza: nu evaluatorul trebuie contestat, ci institutia. Cand veti face asta, ma voi alatura protestului vostru.

  4. Cristian Ciocan Cristi spune:

    În ordinea importanței:

    1. trebuie să se revină la evaluarea internațională. În primul rând, comunitatea autohtonă este prea mică și există destule proiecte care nu pot fi evaluate de nimeni din patrie, pentru că nimeni nu a lucrat în direcția respectivă. Apoi, toată lumea se cunoaște cu toată lumea, nimeni nu e absolut obiectiv. Dacă ai norocul unei evaluări competente, este foarte ușor să ghicești cam cine te-ar fi putut evalua (5-6 colegi), ceea ce duce oricum la situații bizare. Dacă ai bafta unei evaluări incompetente, te iei cu mâinile de cap.

    2. trebuie ca evaluatorul să vină din același domeniu în care se înscrie proiectul. Corespondența dintre domeniul principal al evaluatorului și domeniul principal al proiectului ar trebui să fie reglementată strict tehnic. Un evaluator ar trebui să nu poată primi proiecte din afara domeniului propriu. Acum, există posibilitatea ca un lingvist sa evalueze proiecte de istorie sau un filozof sa evalueze proiecte de filologie (și invers). Aberația provine din modul în care e alcătuită Anexa 3 din pachetul de informații (cel puțin la domeniul SH e o aiureală).

    3. Apoi, presupunând că este îndeplinită condiția 2, ar trebui ca un evaluator să nu poată prelua spre evaluare proiecte care nu sunt în proximitatea imediată a competenței sale dovedite (prin publicații). Dacă x nu a publicat nimic despre filozofia medievală, ar trebui să nu aibă dreptul să se pronunțe cu privire la un subiect din această zonă.

    4. În sfârșit, un evaluator ar trebui să nu poată evalua mai mult de 5 proiecte. Dacă x se trezește cu 30 de proiecte la evaluat, le face pe banda cu copy-paste (fiind plătit pentru asta), cum e cazul ilustrat aici. Deci e obligatoriu să existe o limită clară, stipulată în pachetul de informații.

  5. dr. Alexandru Bejinariu spune:

    Salut demersul dumneavoastră și aș vrea să mă alătur.

    Am concurat la secțiunea de „Proiecte de cercetare postdoctorală”, cu o temă de fenomenologie. Răspunsurile primite (la aproape un an de la depunerea proiectului) frapează prin „iscusința” lor retorică: pot fi aplicate oricărui proiect, din orice domeniu imaginabil. Senzația este aceea că evaluatorul (evaluatorii) nu au filosofia fenomenologică ca domeniu principal de specializare și/sau lectura proiectului a fost una extrem de superficială și grăbită: nu există niciun fel de trimitere la anumite elemente de metodă, teme și concepte din proiect, deși sunt criticate puterea de convingere a „problemei” și a „soluției”, discursul metodologic care „intră într-un impas” (impas care nu este specificat) sau obiectivele care depășesc „posibilitățile asumate” (?!) ale proiectului.

    Inconsistența cu care sunt folosite diacriticele, prezența unor greșeli de literă și uneori chiar și de logică – într-un text de 11 fraze scurte – trădează iarăși graba în care s-a făcut evaluarea.

  6. ac spune:

    deci mafia PSD isi intinde tentacolele in toate ramificatiile statului.

    • Andrei spune:

      Sub obladuirea dnei Andronescu si a pupilelor ei (Costoiu, Curaj, Iovu, etc.) Universitatea Politehnica din Bucuresti a disparut din clasamentele top 500 si chiar din top 1000. Dar daca se analizeaza sumele primite pentru diferite proiecte, numarul de proiecte atribuite UPB si se compara cu rezultatele cercetarii, halul in care s-au copiat lucrari de dizertaie si de licenta, chiar si teze de doctorat, se va gasi explicatia. Nivelul de impostura a atins cote de neimaginat, mai ales in Facultatea de Chimie. Si la fel ca si in PSD, pupilele si pupilii au inceput sa se revolte.
      Pentru ca dupa 28 de ani in care multi au avut posibilitatea sa vada lumea, lozinca cu “partidul e in toate, in cele ce sunt si in in cele ce maine vor rade la soare, nu mai tine. Dar lasand la o parte daunele produse de dna Andronescu in calitate de ministru al educatiei, cele mai mari daune le-a produs in ultima perioada dl Liviu Pop (care de fapt are vina de a fi fost numit si de a fi acceptat aceasta numire) prin desfiintarea unor organisme competente si independente de evaluare.
      Daca tinerii cercetatori (cei capabili, atiti citi au mai ramas) nu se revolta, nu se unesc, in cativa ani invatamintul si cercetarea romaneasca vor fi amintire.

  7. Cornel spune:

    Candidat la tinere echipe. Am postat comentariile evaluatorilor si raspunsurile mele pe facebook. In cazul meu, evaluatorii nu stiau ce inseamna publicatii de “top 50%”, desi pachetul de informatii specifica existenta rutei complementare pentru stiintele umaniste folosind normele CNCSIS stabilite in perioada 2011-2012 (cf site-ului lor). E uimitor sa vezi ca evaluatorii nu cunosc nici macare regulamentul competitiei. Cat despre restul comentariilor, de cele mai multe ori sunt generale si vagi iar intr-un caz se contrazic (planul de lucru este bine elaborat dar nu este suficient timp pentru derularea proiectului). Subscriu la comentariul cu limba engleza. Aplicatiile au fost redactate in engleza, dar nu sunt sigur ca evaluatorii cunosc foarte bine aceasta limba.

  8. Cornel spune:

    P.S. Inteleg ca trebuie sa ma adaug nominal aici, la aceasta lista. Dr. Cornel Micu, Universitatea din Bucuresti.

  9. Constantin spune:

    Deranjanta nu este doar exprimarea sablonarda a evaluatorilor. Inclin sa cred ca este vorba si de nepricepere. Am avantajul de a fi propus un proiect aproape similar in competitia TE din 2014 si 2016. Prima data a fost evaluat de profesionisti din strainatate, a doua oara de evaluatori din tara. Diferenta de punctaj dintre cele doua evaluari este mult prea mare ca sa am incredere in evaluarea nationala. Nu numai ca obiectiile evaluatorilor din tara nu sunt argumentate, dar intra in contradictie flagranta cu cele externe. Dau numai doua exemple de sublima contradictie (desi mai sunt si altele):

    1. Propunerea de proiect (Criteriul 2.1.): “The proposed issue is outstanding in international research. The method and stages are adequate for the project, blending traditional classical erudition and modern theory of translation.” (TE 2014) vs. “Pentru o mai bună fundamentare a proiectului ar putea fi utilă valorificarea teoriilor și a metodelor de traducere specifice literaturii traductologice…” (TE 2016).

    2. Buget (Criteriul 2.3.): “The budget matches the work-plan and seems reasonable both generally and in succession. It permits not only the research as such, but also a major scientific event, which will add greatly to the international visibility of the project.” (TE 2014) vs. “Propunerea de buget este ușor supradimensionată în raport cu rezultatele și livrabilele propuse.” (TE 2016).

    Va las pe dumneavoastra sa trageti concluzii. Subscriu propunerii de a se reveni la evaluarea internationala, pe baza motivatiei ca cercetarea romaneasca nu are deocamdata specialisti pe domeniile de nisa.

  10. sile spune:

    Haha. Acum v-ati gasit sa faceti sesizari pe tema asta?
    Uitati-va de jur-imprejur la ce se intampla in Romania: numai la astfel de evaluari va asteapta (si) de acum incolo, vom fi la cheremul PSD-ului cel putin doua decenii de acum incolo.

  11. Alexandra Anisie spune:

    Candidat la „Proiecte de cercetare postdoctorală”: si la mine apar cateva dintre formularile citate in articol (iar celelalte observatii au acelasi grad de generalitate):

    “Metoda, planul de lucru, instrumentele și resursele sunt, în general, bine prezentate. Metoda si planul de lucru nu sunt suficient de bine descrise pentru ca nu sunt suficient de explicite metodele de cercetare. … nu se acordă importanță publicării rezultatelor cercetării în reviste internaționale de prestigiu.”

  12. Grammaticus spune:

    Noi am facut un proiect evaluat de o comisie internationala (impreuna cu doua alte tari UE si o alta universitate din Elvetia) care a avut un punctaj peste media de acceptare iacordat de cei din strainatate si ne-a fost refuzat sub pretextul ca “inghitea bugetul”. Refuzat in bloc! S-ar fi putut sa se acorde anual o suma, dar a fost refuzat in bloc!

  13. Gabriela spune:

    Aplicant la proiectele de cercetare postdoctorala:

    la fel, formularile din comentariile primite au fost foarte generale, si mai mult decat atat, evidentiaza faptul ca evaluatorii ori au citit in graba propunerea, ori nu au avut cunostinte suficiente de limba engleza, ori nu au avut cunostintele de specialitate necesare unei evaluari adecvate a propunerii de proiect, ori toate variantele de mai sus :).

    Criticile aduse de catre evaluatori propunerii de proiect au vizat in mare parte absenta unor aspecte, i.e., lucruri despre care ei au sustinut ca nu se regasesc in propunere, si care de fapt au fost abordate destul de generos in propunerea de proiect. Am facut rebuttal cu indicarea sectiunilor/randurilor exacte cu informatiile respective. Penibil.

    Cireasa de pe tort:
    ‘ CV-ul mentorului depaseste spatiul maxim permis alocat in cadrul propunerii (2 pagini).’
    Asta in conditiile in care CV-ul mentorului nu depasea nici macar cu o virgula numarul de pagini alocat.

    Asta spune cam tot despre calitatea evaluarii in competitia PD-2017.

  14. Z spune:

    Candidat la Tinere echipe. As adauga doua observatii legate de nevoia unei evaluari internationale. Prima observatie vizeaza strict comptetitia de fata, iar cealalta e mai generala.

    In primul rand, la competitia de acum, noi am depus proiectele in vederea evaluarii lor (cel putin in parte) de catre evaluatori straini. Mai ales aceia dintre noi care se ocupa de subdomenii de nisa si stiu foarte bine ca, dupa ce excluzi membrii echipei, exista maxim 1-2 specialisti in tara care ar putea – si asta daca ai si noroc – sa evalueze competent un proiect din respectivul subdomeniu. Problema este ca daca noi am fi stiut ca proiectele vor fi evaluate doar de catre evaluatori autohtoni le-am fi scris putin altfel, adica am fi insistat mai mult pe prezentarea stadiului actual al cercetarii pe problemele din proiect, am fi ingrosat mai mult originalitatea proiectului pentru ca ea sa sara in ochi, eventual, si unor nespecialisti in subdomeniul respectiv etc. Ba chiar unii dintre noi, care au un CV rezonabil in doua subdomenii, ar fi ales poate sa candideze cu un proiect din alt subdomeniu. Modificarea regulilor evaluarii dupa depunerea proiectelor nu ridica deci doar probleme lingvistice.

    Dincolo de competitia de fata, cred ca practica evaluarii strict autohtone exclude a priori de la finantare proiectele apartinand unor subdomenii foarte putin practicate in Romania. Si asta tocmai presupunand buna-credinta a evaluatorului. Sa presupunem ca unui evaluator i se propune sa evalueze un proiect dintr-un subdomeniu pe care il cunoaste doar vag. El stie insa ca nu exista sau exista maxim 1-2 specialisti in tara pe subdomeniul respectiv: in consecinta, cu buna-credinta, accepta proiectul. Dar aceeasi buna-credinta il va impiedica sa acorde calificative exceptionale unui proiect dintr-un subdomeniu pe care il cunoaste doar vag: nefiind specialist in domeniu, pur si simplu nu are cum sa stie daca acela este sau nu un proiect exceptional (si asta nu se aplica doar proiectului ca atare, ci si evaluarii CV-ului, metodei etc.: daca nu esti specialist intr-un subdomeniu, nici nu stii cat e de greu sa ai articole publicate in cele mai bune reviste din acel subdomeniu si deci nu poti fi stapan pe evaluarea realizarilor trecute ale candidatului; daca nu esti stapan pe subdomeniu, nu ai cum sa stii sigur ca metodele si instrumentele alese pentru proiectul respectiv sunt exceptionale etc.). Deci, cu buna-credinta, evaluatorul va gasi proiectul bun, poate chiar foarte bun si il va nota in consecinta. Rezultatul va fi ca respectivul candidat va primi “foarte bine” pe linie, ceea ce ii va aduce exact 80 de puncte, cu care nu are nicio sansa la finantare. Si toate astea presupunand buna-credinta, ba chiar din cauza bunei-credinte a evaluatorului.

  15. L. spune:

    Am candidat la competiția Proiecte de cercetare postdoctorală. Am primit evaluarea în penultima (până acum) rundă de trimiteri, deja începuse să mi se pară ciudat. Cred ca ritmul alert în care s-au trimis aceste evaluări în ultima lună, după ce aproape un an nu se întâmplase nimic, este grăitor. De când au început să fie trimise rapoartele, am urmărit cum încă se trimiteau și se avizau propuneri de evaluatori pe bandă rulantă, găsiți nimeni nu știe cum.

    Evaluarea primită a fost deconcertantă: un punctaj ridicol de mic însoțit de comentarii ridicol de generale, care nu susțineau în niciun fel depunctarea prin simplul fapt că nu spuneau nimic concret. Mai mult, pentru un proiect de literatură, mi s-a reproșat: „Impresia generala este ca proiectul, foarte interesant in esenta, nu acopera si partea practica foarte bine.” Tind să cred că nu s-a depășit încă stadiul comentariilor pur textuale, de învățat mot-a-mot și reprodus în lucrările de la BAC, altfel nu știu despre ce fel de parte practică ar putea fi vorba la un proiect de literatură.
    La capitolul buget: se pare ca aș cheltui prea mult pe cărți, dar în același timp sejurul în străinătate este prea scurt. Greu este de înțeles că prefer să cumpăr cărți pe care să le folosesc în proiect și să dotez apoi o bibliotecă (menționasem acest lucru, cu tot cu biblioteca ce va fi dotată) decât să mă „plimb” în străinătate după aceleași cărți. Da, e greu, cui nu-i place să se plimbe, nu-i așa?

    Din răspunsul UEFISCDI la sesizarea colegilor de mai sus, am fost siderată de partea cu „alocare automată”. Poftim? Adică stăm un an să căutăm evaluatori, se presupune competenți în domeniile în care s-au primit proiecte, pentru ca mai apoi să se aloce automat? Pe ce criterii automate?

    Nu știu dacă evaluarea mea a fost copy-paste, dar cu siguranță a fost neprofesionistă și superficială. Posibil să fie și din cauza englezei, dar nu aș miza doar pe asta. Nu spun că aș fi meritat 100 de puncte, dar meritam să știu motivele concrete ale depunctării, nu unele aplicabile oricărui proiect din orice domeniu.
    Sunt de acord cu colegii care spun că au fost depuse multe proiecte pregătite pentru o evaluare internațională, pe teme pe care nu se lucrează deloc sau nu suficient în România. În naivitatea mea crezusem că exact acestea ar avea mai multe șanse.

  16. Flaviu Victor Câmpean spune:

    Subscriu..deşi am primit cel mai mare punctaj de la evaluatorul cu pricina şi cu toate că Iovan Drehe nu m-a mai contactat (fiecare cu interesele sale). Ar fi redundant un c/p..

    Flaviu-Victor Câmpean

  17. R Ionel spune:

    Am depus un proiect de tip TE. Din pacate, am obtinut un punctaj foarte mic. La vederea comentariilor nu am stiut daca ar trebui sa rad sau sa plang. :) Pe langa faptul ca ideile evaluatorilor se incadrau la capitolul generalitati, ceea ce m-a intristat a fost lipsa acuta de knowledge. Practic, evaluarea sustine ca tema propusa de mine este doar teoretica, neaplicabila industrial. Mentionez ca orice inginer, oricat de slab pregatit, ar fi putut sustine caracterul aplicativ al respectivei propuneri. Altfel, pot spune doar long live PSD. Pentru mine a fost cel mai putin profesionist proces de evaluare a unor proiecte de cercetare. O bataie de joc fata de cei care au depus efort, timp si stres in vederea finalizarii propunerilor.

  18. M. spune:

    Din cate inteleg, cei trei evaluatori din prima etapa de evaluare au dat o declaratie ca nu sunt in conflict de interese cu aplicantul. Dar, in etapa evaluarilor in panel, s-au intalnit evaluatori, din toate univeritatile mari de unde au fost majoritatea aplicatiilor. Practic, acestia au avut acces si au dat verdictul final pentru aplicatiile colegilor lor. Oare aici nu putem vorbi despre conflict de interese…

  19. Cristina spune:

    Mi se pare laudabila initiativa voastra, eu am primit o evaluare absolut ”halucinanta”, cred ca se vor aduna cateva contestatii la domeniul stiintelor umane.

  20. TE spune:

    Pentru că lista semnatarilor este încă deschisă, mă alătur și eu comentatorilor, deoarece am luat cunoștință, ca urmare a unei propuneri de proiect depusă în cadrul competiției pentru stimularea tinerelor echipe, de rezultatul evaluării (TE-2016-2548).

    Remarc desigur stipularea conform căreia „contestaţiile nu pot avea ca obiect punctajele şi comentariile evaluatorilor”, ci doar „ca obiect exclusiv viciile de procedură considerate neconforme cu precizările din Pachetul de informaţii”. În fapt, viciile de procedură nu sunt definite ca atare niciunde în Pachetul de informații. Dincolo de ignorarea datelor anunțate în calendarul competiției, Pachetul de informații prevede redactarea propunerii de proiect în limba engleză, ca de altfel și răspunsurile eventuale la raportul de evaluare. Faptul că raportul evaluativ primit este în limba română se traduce prin viciu de procedură.

    Pe lângă această neîndeplinire a condițiilor minime în întocmirea evaluării, dat fiind că evaluatorii nu au reușit să își formuleze comentariile în limba engleză trimite la concluzia că, pe lângă limitări certe în utilizarea celei mai răspândite limbi de comunicare internațională, este foarte posibil să fi existat o lipsă de înțelegere a textului în limba engleză din propunerea de proiect. Prin urmare, nu există nicio dovadă că în aceste condiții comentariile nu sunt viciate și de neînțelegerea textului primit spre evaluare, ori faptul că tocmai aceste comentarii au stat la baza raportului pentru ședința din plen, se constituie în viciu de procedură.

    În plus, acest joc al aparentei inserții a limbii engleze care ar trebui să ateste internaționalitatea procesului de evaluare nu face decât dovada înscenării unei funcționalități de fațadă. De altfel, prof. dr. Oliver Jens Schmitt, membru al Academiei de Științe din Austria, evaluator pentru proiecte depuse la UEFISCDI într-un prim an când regularitățile anunțate erau încă neîncălcate, i-a adresat în aprilie 2013 o scrisoare ministrului Mihnea Costoiu în care se arăta îngrijorat de decizia de a se renunța la evaluatorii internaționali, subliniind rolul lor crucial în integrarea reală a cercetării românești în structurile europene. Într-un alt plan se atrage atenția asupra însemnătății implicării, respectiv în acest caz, a neimplicării de experți externi, nepărtinitori într-un astfel de lanț decizional.

    În documentul încărcat pe site-ul UEFISCDI, ca răspuns la acest articol publicat pe http://www.contributors.ro, ce atrăgea atenția asupra modalității cel puțin hazardate de evaluare, se reia specificarea din Pachetul de informații care prevedea situația în care „raportul initial de evaluare a avut un vot „nu sunt de acord”, directorul de proiect să primească fișa concatenată cu cele 3 evaluari individuale”. Această mențiune trimite în mod foarte explicit la concluzia că în „cazul” meu a sălășluit un consens deplin în ceea ce privește verdictul, atât asupra profilului directorului de proiect, cât și al proiectului în sine.

    Cred că este de datoria mea să readuc la cunoștința membrilor comisiei de evaluare că secţiunile publice din cadrul cererilor de finanţare (B1 și B3) sunt încă accesabile pe internet și deci și comparabile între ele în expresie reală, tot în egală măsură de comparabile cum sunt și evaluările realizate colegilor întocmite tocmai pe baza acelor liste de publicații și realizări științifice – cum de altfel reclamă și colegii din Cluj și Timișoara.

    Desigur că evaluatorul (în unele cazuri spre exemplu specialiști în literatură, dar răspunzători pentru proiecte din domeniul arheologiei și istoriei, deci actând ca ‘evaluatori’) are deplina libertate să emită judecăți asupra curriculum vitae și a elementelor definitorii ale realizărilor științifice remarcabile ale persoanei care depune un proiect – nu prin prisma meritelor sale, dovedite prin chiar acele realizări (nu neapărat puține), ci prin cea a deficiențelor.

    Dar modul în care alege să judece sfera directă de competențe a aplicantului și a propunerii de proiect conotează orice altceva decât acuratețe obiectivă în evaluare, și reprezintă, după cum se va vedea, vicii de procedură.

    (1) la pagina 32 din Pachetul de informații sunt stipulate criteriile după care se face evaluarea: „vă rugăm să evaluați calitatea rezultatelor cercetării directorului de proiect, așa cum rezultă din lista de publicații și/ sau brevete, cu accent pe contribuțiile ca autor principal.”

    Notarea evaluatorului la acest punct: „Cu privire la originalitatea rezultatelor directorului de proiect, impactul lor asupra stadiului actual al rezultatelor în domeniu, precum și relevanța acestora pentru prezentul proiect, descrierea de proiect cuprinde și studii care nu se află în strictă legătură cu subiectul prezentului proiect.” (!)

    Conform definiției viciului de procedură ca nerespectare a dispozițiilor așa cum sunt ele prevăzute, evaluatorul neglijează cerința de a „evalua calitatea rezultatelor cercetării directorului de proiect, așa cum rezultă din lista de publicații și/ sau brevete, cu accent pe contribuțiile ca autor principal” (!) și o modifică adăugând clauza de exclusivitate.

    Prin neaplicarea criteriului 1.1. de la pagina 32, care contravine și justificării obiectivelor enunțate la pagina 3: „creșterea capacității tinerilor cercetători”, „dezvoltarea abilităților tinerilor cercetători”, evaluatorul aplică eronat normele Pachetului de informații. În plus, dacă toate (!) studiile unui tânăr cercetător ar fi „în strictă legătură cu subiectul prezentului proiect”, se pune întrebarea de ce ar mai depune un asemenea proiect și cum și-ar putea dezvolta abilitățile ori crește capacitatea când activitatea în domeniu este deja realizată. Dincolo de acest comentariu de minimă (i)logică internă, nicăieri la punctul 1.1. nu este indicată această dispoziție.

    (2) punctul 1.2. menționează în schimb exact acest lucru, care este aplicat în mod eronat la evaluarea punctului 1.1.: „vă rugăm să luați în considerare doar (!) rezultatele relevante pentru prezenta propunere de proiect” (pagina 32).

    (3) la punctul 2.1. evaluatorul notează: „Obiectivele sunt descrise la modul general, enunțiativ, fără precizări operaționale legate de concretizarea lor. Pentru îmbunățirea propunerii de proiect obiectivele trebuie operaționalizate în sensul că trebuie precizat ce anume se urmărește, cine va realiza activitatea, cum, când, cu cine”.

    Mai departe reclamă: „Pentru îmbunățirea propunerii de proiect s-ar putea adăuga și ideea că punerea în operă a proiectul poate sta la baza unor viitoare noi abordări de istorie a feminismului, dar și ca bază de comparație pentru alte demersuri privitoare la regiuni cu societăți mixte etno-confesional.”

    Dacă evaluatorul ar fi parcurs propunerea de proiect și nu ar fi formulat comentarii aleatorii, ar fi putut observa că aceste două critici nu își au niciun fundament, căci există pentru fiecare dintre ele menționări concludente.

    (4) Și la punctul 2.2. decizia evaluatorului este afectată de un viciu de procedură: el alege să adauge un criteriu nicăieri stipulat în Pachetul de informații: „EFICIENȚA PLANULUI DE LUCRU ÎN TIMP este imposibil de evaluat în absența diagramei Gantt.” Bazându-și așadar analiza pe această adăugire ad hoc, hotărârea este rezultatul unui viciu de procedură.

    (5) La punctul 2.2. prevede și menționarea abordărilor alternative, care nu sunt specifice și nici măcar întâlnite la proiectele din domeniul filologiei.

    (6) Și celelalte afirmații de la punctul 2.2., unele contradictorii, dovedesc că evaluatorul nu a citit nici pe departe cu atenția cuvenită descrierea proiectului și a utilizat șablonard formulări în evaluare. În mod evident, această modalitate de apreciere în condițiile unei lecturi superficiale este arbitrară și nevalidă.

    Nu am putut să nu remarc desigur scăderea punctajelor fără vreo legătură concretă cu proiectul, cu echidistanța și echilibrul ce ar trebui să fie inerente unui evaluator care se află în fața unui proiect formulat cu bună credință și pornind de la premisele unor preocupări științifice cuprinzătoare pentru etapa de existență în care se află aplicantul.

    Dacă a fi tânăr cercetător echivalează cu o anumite naivitate ori inocență, aș putea reclama că o astfel de atitudine abuzivă a evaluatorului este inacceptabilă, dar din perspectiva experienței acumulate totuși cred ca termenul potrivit pentru această evaluare nu este reavoință, nici măcar malversațiune, ci, mult mai grav, batjocură și premeditare. Și oare nu constituie ele un viciu de procedură?

    Ținând seama de competențele unei instituții care afirmă public (http://www.contributors.ro/editorial/o-noua-invenție-in-cercetarea-romaneasca-evaluarea-„copy-paste”/) că „manifestă toleranță zero față de orice abatere de la normele şi uzanţele deontologiei academice”, îmi este dificil să cred că toate aceste elemente nu ar fi fost familiare membrilor comisiilor de evaluare.

    Privind către modul de derulare a culturii instituționale și a calității ei astăzi, la aproape trei decenii după sfârșitul erei comuniste, și către asigurarea UEFISCDI de acum câțiva ani („selectarea celor mai competitivi evaluatori și a celor mai specializați în direcția aplicațiilor dumneavoastră, precum și pentru desfășurarea la cele mai înalte standarde științifice și etice ale competițiilor de finanțare a cercetării” – accesabilă la: http://tandem.nipne.ro/~dante/projects/PN2P3_43/rapoarte/CNCS2AVRIGEANU%20VLAD_29-11-2012.pdf), de fapt se poate remarca doar crunta ironie a unei realității ce le contrazice drastic, reliefând încă o dată, dacă mai era nevoie, modul în care cel mai înalt for al finanțării cercetării românești se raportează la deontologia academică.



Comenteaza:







Do NOT fill this !

Autor

Iovan Drehe


Iovan Drehe

Licentiat in Filosofie al Universitatii de Vest din Timisoara; Doctor in Filosofie al Universitatii "Babes-Bolyai" din Cluj-Napoca. Citeste mai departe


Conferinta “Ce vrea Putin? Agenda liderului de la Kremlin pentru un nou mandat.”

"Ce vrea Putin? Agenda liderului de la Kremlin pentru noul mandat."

Duminica, 27 mai, la ora 11 00, sunteti invitati la conferinta sustinuta de Armand Gosu la Sala Mica a teatrului National. Detalii, aici.

E randul tau

Mare parte a conflictului palestiniano-israilian (si nu ma refer la prezent, ci la o perioada de zec...

de: eu

la "Ierusalim, calul troian al politicii externe "

Camp Kennedy

Ambasada Statelor Unite în România, alături de American Councils for International Education invită liceenii cu vârsta cuprinsă între 15-17 ani să candideze la Şcoala de Vară pentru Educație Civică, Participare Activă și Leadership, denumită „Camp Kennedy”, ce va avea loc la București în perioada 19-26 august. Informații complete despre program sunt disponibile și online pe site, iar aplicatiile pot fi depuse pana pe 10 iunie 2018.

România, marile puteri şi ordinea europeană: 1918-2018

Cauta articole

mai 2018
Lu Ma Mi Jo Vi Du
« Apr    
 123456
78910111213
14151617181920
21222324252627
28293031  

contributors.ro

Contributors.ro este intr-o permanenta cautare de autori care pot da valoare adaugata dezbaterii publice. Semnaturile noi sunt binevenite cata vreme respecta regulile de baza ale site-ului. Incurajam dezbaterea relaxata, bazata pe forta argumentelor.
Contact: editor[at]contributors.ro

MIHAI MACI – Cel de-al doilea volum din Colectia Contributors.ro

"Atunci când abdică de la menirea ei, școala nu e o simplă instituție inerțială, ci una deformatoare. Și nu deformează doar spatele copiilor, ci, în primul rând, sufletele lor. Elevul care învață că poate obține note mari cu referate de pe internet e adultul de mâine care va plagia fără remușcări, cel care-și copiază temele în pauză va alege întotdeauna scurtătura, iar cel care promovează cu intervenții va ști că la baza reușitei stă nu cunoașterea, ci cunoștințele. Luate indi­vidual, lucrurile acestea pot părea mărunte, însă cumulate, ele dau măsura deformării lumii în care trăim și aruncă o umbră grea asupra viitorului pe care ni-l dorim altfel." - Mihai Maci

(An essay by Vladimir Tismaneanu and Marius Stan)