UEFÎSCDI a lansat și mult așteptata competiție de Idei PCE (proiecte de cercetare exploratorie) 2020, punând la bătaie exorbitanta sumă de 90 milioane lei, ceea ce ar ajunge pentru 75 de noi proiecte de 3 ani. Conform Anexei 4 a pachetului de informații, s-au definit 12 subdomenii (Matematică / Informatică / Chimie / Fizică etc.), deci fericiții norocoși aproape că se vor număra pe degetele de la o mână, cel puțin pentru anumite domenii.
Întâi, câteva considerații de natură financiară. Un proiect are valoarea maximă de 1,2 milioane lei, pentru 36 luni. Admitem o regie de 20 % din cheltuielile directe, adică media între valoarea stipulată în pachetul de informații prin precisa sintagmă “de regulă, cheltuielile indirecte nu vor depăși 15 %” și cei 25 % admiși în “situații bine întemeiate” (neprecizate). Această înseamnă cam un milion de lei cheltuieli directe, pentru 3 ani, deci cca. 27778 lei pe lună. Chiar în condițiile absenței totale a altor cheltuieli (deplasări, materiale, de echipamente cred că nici nu poate fi vorba), salariile rezultante ar permite finanțarea a cca. 15900 lei salariu net. Asta înseamnă cam 3200 Euro pe lună (net).
Au existat discuții interminabile privind nivelul de salarizare din cercetare, unii “influencers” acuzându-i pe anumiți cercetători că-și iau salarii nejustificate de 50 de euro pe oră, în timp ce țara moare de foame. Dacă ar fi așa, un director de proiect PCE 2020 ar putea consuma toate cheltuielile directe ale proiectului numai pe ilustra sa persoană – și nici n-ar părea exagerat. Dar să încercăm să facem o evaluare mai “rațională”. Având în vedere competiția strânsă, este de presupus că numai cercetătorii de top (Prof. / Conf. / CS1 / CS2) vor câștiga aceste proiecte. Mi se pare cumva decent să admitem ca un cercetător senior din România care a căștigat un proiect într-o competiție atât de dură să fie finanțat măcar cu 2000 Euro net pe lună, ceea ce reprezintă mai puțin decât un post-doc în Germania (cca. 4000 DM net pe lună câștigam eu în 1998 ca post-doc standard – BAT IIa – la o universitate germană, deci acum mai bine de două decenii). Iar 1200 Euro pe lună ar mai reprezenta salariul unui cercetător de rang puțin inferior, să zicem CS3. Astfel, fără vreo cheltuială pe materiale sau echipamente, competiția proaspăt lansată va permite finanțarea cu normă întreagă a cca. 150 de cercetători la nivel național.
S-ar putea deci spune că numai cei cu adevărat excelenți merită să câștige, așa că s-au definit și câteva condiții minimale și pentru directorul de proiect, și pentru experții evaluatori (minimul indicatorilor semnificativi pentru experți este dublu față de minimul acceptabil pentru directorii de proiect). În continuare, mă voi referi cu precădere la domenii care îmi sunt mai familiare și unde scientometria pare a fi ceva mai bine fundamentată: “1.1 Standarde minimale de eligibilitate pentru directorul de proiect. Pentru ştiinţele naturii, ştiinţe exacte şi ştiinţele inginereşti: Publicarea în perioada 2012 – 2020 [3], dar după obţinerea titlului de doctor, ca autor principal (conform Anexei 5), a unor articole în reviste care au fiecare un scor relativ de influenţă (SRI) [4] cel puţin egal cu 1 şi al căror scor relativ de influenţă cumulat este cel puţin egal cu 3. Note de subsol: [3] Articolele vor fi luate în calcul dacă acestea sunt indexate în ISI Web of Science până la data verificării eligibilităţii. [4] Scorul relativ de influenţă al revistelor este definit în Anexa 5 şi se găseşte pe site-ul UEFISCDI, la adresa https://uefiscdi.gov.ro/scientometrie-baze-de-date. Se ia în considerare scorul relativ de influenţă al revistei (SRI) la momentul publicării articolului. Pentru articolele publicate în 2020 se va lua în considerare scorul relativ de influenţă al revistei din 2019.”
După nota de subsol, suntem în primul rînd tentați să mergem la Anexa 5 și să savurăm câteva definiții (abrevierile le-am introdus eu în text, și mai înainte, și în continuare): “Scorul de influenţă (”article influence score”, SI) este calculat de Clarivate în Journal Citation Reports. Se consideră că revistele pentru care Clarivate nu indică scorul de influenţă al articolelor au un scor de influenţă nul.” Bun, asta se cam știe. Mai departe însă avem câteva mari probleme de definiții: “Scorul relativ de influenţă al unei reviste ştiinţifice (SRI) este egal cu raportul dintre scorul de influenţă al articolelor acelei reviste (SIA) şi scorul de influenţă referinţă corespunzător revistei (SIR). Scorul relativ de influenţă al unui articol (SIA) este scorul relativ de influenţă al revistei ştiinţifice (SRI) în care a fost publicat articolul.” Condensat, aceasta înseamnă SRI = SIA / SIR, cu SIA = SRI. Rezultă SIR = 1, iar SRI rămâne nedefinit, indiferent de revistă. Însă trebuie totuși să ne dumirim cum este cu acest “scor de influență referință”, abreviat SIR. “Scorul de influenţă referinţă corespunzător unei reviste ştiinţifice (SIR) indexate în Science Citation Index Expanded sau Social Sciences Citation Index este minimul scorurilor de influenţă referinţă al domeniilor în care se încadrează revista, conform grupării revistelor pe domenii făcută de Clarivate.” Un fel de SIR = min{D}[SI(D)], unde D sunt domeniile de care aparține revista. Nu m-am dumirit unde apare pe Clarivate scorul de influență al revistei raportat la un anumit domeniu, apare numai rank-ul unei reviste pe domenii, acele Q1, Q2 etc. care au definit bine cunoscutele zone roșii și galbene de la UEFISCDI. Bref, passons. Admit că poate nu știu eu unde să caut, poate mă lămurește cineva . Până atunci vom lua de bune scorurile SRI de pe site-ul UEFISCDI listat în nota de subsol 4 de la Anexa 1. Definițiile din Anexa 5 devin inutile, cel puțin momentan.
Apare o primă întrebare: în condițiile în care se dorește ca evaluatorii să fie cel puțin în proporție de 50 % din străinătate (UE sau state membre OECD), de ce s-a recurs la un indicator atât de ambiguu (SRI), prost definit în Anexa 5 și criticabil, în locul factorilor de impact, larg acceptați pretutindeni, sau ai scorurilor relative de influență “Article influence scores” (AIS), utilizați în continuare la CNATDCU, în calificativele care se acordă tezelor de doctorat și, oricum, destul de recunoscuți internațional și aceștia?
A doua întrebare are cumva legătură cu prima și se referă la criteriile de eligibilitate pentru directorul de proiect. Studiind destul de mult acei SRI, am ajuns la concluzia că sunt situați cumva între factorii de impact și AIS, mult mai apropiați de primii. Un total de SRI = 3 realizat prin publicații în ultimii 9 ani, înseamnă un factor de impact total de cam 5, deci cam o publicație într-o revistă modestă spre medie, cu factor de impact de 2 și ceva, cam o dată la patru ani. Cel puțin pentru fizică sau chimie, este extrem de puțin. Transcriind aceste numere în AIS, rezultă un total de cam 1, ceea ce pentru tezele de doctorat în Fizică le situează la limita între calificativul “bine” și “foarte bine”, deci un nivel sub media tezelor susținute în ultima vreme la Facultatea de Fizică de la Universitatea din București. Un director de proiect la competiția PCE va trebui să aibă în ultimii 9 ani o performanță similară cu aceea dovedită de un absolvent de doctorat mediocru în 3 ani. În plus, la condițiile de eligibilitate din Anexa 1 nu scrie dacă propunătorul proiectului trebuie să fie “autor principal” pentru articolele pe care le definește ca fiind reprezentative, în schimb în Cererea de finanțare, partea B3 se spune “Evaluarea va urmări cu precădere articolele în care directorul de proiect este autor principal, dar în situaţia în care există lucrări publicate în calitate de co-autor pe care directorul de proiect le consideră relevante pentru producţia sa ştiinţifică, acestea pot fi indicate.” (adică, până la urmă, acestea din urmă vor fi sau nu luate în considerare?). Era atât de greu să se indice întocmirea a două liste de lucrări publicate, una în care propunătorul este autor principal și altele unde nu este, însă consideră că acele articole sunt reprezentative pentru el (eventual și cu o scurtă prezentare a contribuției personale din aceste articole)? Revenind totuși la condițiile de eligibilitate, așa cum sunt ele definite în Anexa 1, nicăieri nu scrie ca propunătorul ar trebui să fie autor principal pentru articolele pe care le listează. Rezumatul este că nivelul minim de expertiză pentru directorul de proiect este foarte scăzut, și deci tot scăzut va fi și pentru experții evaluatori.
Bine, deci până acum rezultă că vom avea extrem de multe cereri de finanțare pentru o competiție unde data de depunere se cam suprapune cu data estimată de afișare a rezultatelor finale pentru competițiile PD, PED și TE. UEFÎSCDI a trebuit să ia în considerare această suprapunere printr-un punct demn de judecata lui Nastratin Hogea, punctul 4(g). “O persoană care este director al unui proiect de tip PD, TE, sau PCCF aflat în derulare, nu poate fi, în acelaşi timp, director al unui nou proiect de tip PCE. O persoană care conduce un proiect de tip PD, TE sau PCCF, aflat la data de închidere a perioadei de depunere a cererilor de finanţare în ultimele 12 luni de derulare ale proiectului, poate candida pentru obţinerea unei finanţări pentru un proiect de tip PCE, care va începe ulterior finalizării proiectului aflat în derulare. Dacă o persoană obţine finanţare în cadrul competiţiilor TE sau PD 2019, aceasta va putea amâna contractarea până la finalizarea evaluării proiectelor PCE. În cazul în care va obţine finanţare şi în cadrul competiţiei de proiecte PCE, va putea alege între proiectul PCE sau cel de tip TE, respectiv PD.” Prima observație este că nu se spune nimic despre proiectele PED, competiția 2019. A doua observație se referă la proiectele de tip PD și TE. Rezultă că propunătorii acestor tipuri de proiecte în 2019 au voie să propună proiecte de Idei (PCE) 2020, posibil pe aceeași temă, și să aștepte în cazul în care sunt declarați câștigători la PD sau TE până se afișează și rezultatele la PCE, după care vor putea opta ce proiect să înceapă. (Nu apare nicio restricție pentru propunătorii de proiecte PED în 2019.) Nu era mai simplu să se aștepte câteva săptămâni cu data limită de depunere a proiectelor PCE, până se afișau rezultatele la PD și TE (și la PED)? Oricum, se prevede în calendarul actualei competiții că nu va avea loc contractarea anul acesta. În felul acesta: (i) se evitau suprapunerile menționate; (ii) se evita inflația de propuneri de proiecte, bănuiala fiind că mulți candidați la proiecte TE (și poate că nu numai) care nu au avut succes își vor reîncerca norocul la PCE. Nu era nevoie să se ajungă în situația când marea majoritate a propunătorilor de proiecte TE, indiferent de rezultatele obținute, sau mai ales în cazul în care au obținut punctaje ridicate la TE, să propună și la PCE. Cîștigai un proiect TE, îl contractai și gata, nu mai aveai voie să prezinți un proiect PCE. Nu dai vrabia din mână.
Mai apare în Pachetul de Informații și un paragraf întreg, 4(h), despre aspecte legate de etica în cercetare. Nu am nimic împotriva acestor principii, le-am susținut în repetate rînduri, numai că totul se lasă la îndemâna unor organisme (CNCS și CNECSDTI) nefuncționale în momentul de față. Recent (9 martie), s-a numit un nou CNCS în condiții nu tocmai transparente, iar pe 12 martie datează o notă de aprobare a comisiilor de lucru CNCS. Din nou, nu prea se știe cum au fost selectați membrii acestor comisii de lucru. Să sperăm că acest CNCS va deveni funcțional în următoarea perioadă și că va avea viață mai lungă decât cel din 2016, desființat de Șerban Valeca (acolo am fost vicepreședintele unei Comisii de Fizică ce nu s-a întrunit niciodată; dacă protestam la acel moment mi s-ar fi spus că o fac din frustrări personale). Însă despre CNECSDTI nu se aude nimic. Iarăși, speranța moare ultima. Poate pînă la începutul lui 2021 se va rezolva și problema Consiliului Național de Etică.
Revenind la subiectul principal, rezumatul rezumatului este că noua competiție de Idei PCE 2020 s-a lansat cu un buget absurd de redus (ar fi trebuit să fie cel puțin de 20 de ori mai ridicat), cu un pachet de informații conținând erori de logică și de strategie, dezbaterea publică a fost praf în ochi, calitatea directorilor de proiecte și a evaluatorilor nu este deloc garantată (dimpotrivă), evaluarea probabil că va avea loc tot deficitar, ca până acum. Nu era pur și simplu mai bine să se mărească sumele acordate competițiilor PD și TE începute în 2019? Însă probabil că pușculița din 2020 este deja goală, a apărut Covidul și au trebuit finanțate proiectele de tip Soluții.
(Pentru cei care întreabă “unde ați fost când?…”) Am sesizat aceste lucruri și la CNCSIS în perioada de dezbatere publică și m-am ales cu o caldă mulțumire și “cele mai bune gânduri” pentru intervenția mea. Am identificat doar o singură sugestie integrată în actualul pachet de informații, și anume ca după finalizarea competiției lista cu experți evaluatori să fie publicată pentru fiecare domeniu în parte și nu otova, ca până acum.
Revenind la proiectele de Idei, cu bătaie spre evaluările UEFÎSCDI. Îmi pare rău că trebuie iarăși să dau un exemplu personal: la competiția precedentă de Idei 2016 am căpătat un scor inițial de 75 puncte, pierzând puncte la punctajul directorului de proiect (4/5) și la metodologia proiectului (3/4). Am studiat ulterior formularele B3 (listele de lucrări reprezentative) al tuturor care au obținut peste 90 de puncte de la secțiunea Fizică și am constatat că, ordonându-i după factorul de impact total al publicațiilor ca autor principal, mă aflam pe locul 4 din 30, iar ceilalți sigur aveau cel puțin 4,5/5 ca directori de proiect (dacă ar fi avut vreunul 4, nu putea avea un punctaj total mai ridicat de 88 p). La proiect, mi s-a reproșat în mod eronat că ar fi trebuit să prevăd anumite măsurători, pe care nu mi le-aș fi propus. După ce am demonstrat că acele măsurători chiar figurau în planul de activități ale proiectului și erau descrise în amănunt, mi s-a mărit punctajul de la 3 la 3,5. (Punctaj final 79 p., nicio revizuire a notei acordate directorului de proiect.) În felul acesta, orice evaluator poate comenta oricât de eronat pe un proiect, poate depuncta la greu și, după ce la rebuttal i se atrage atenția că nu-i adevărat ce spune el acolo, va reveni și va acorda un punctaj ceva mai răsărit, însă oricum insuficient pentru finanțare. Iar în ceea ce privește notarea directorilor de proiect, arbitrariul este la el acasă. Am dat exemple suficiente cu alte ocazii, iar lumea știe la ce mă refer.
Și totuși. Un ultim cuvânt despre evaluările la PD și TE care se vor finaliza în curând. M-a surprins în anumite evaluări apariția unor puncte de suspensie unde chiar nu era nevoie (totuși, nu facem literatură). Apare suspiciunea rezonabilă că ar fi putut exista niște formulări “standard” (provenite nu se știe de unde) unde evaluatorul trebuia doar să completeze cifrele legate de propunătorul proiectului sau de proiect (de genul număr de articole, citări, indice Hirsch, sume pentru dotări sau deplasări etc.). Am vrut să declanșez o anchetă în care mai tinerii colegi să-mi trimită doar textele evaluatorilor acelora dubioși care dădeau punctaje inadmisibil de mici. Urmând să facem o analiză rapidă de similitudini. Însă a venit Covidul și deocamdată am amânat această acțiune. Se pare că aceleași suspiciuni le au și colegii de la alte discipline, manifestate chiar pe contributors.ro. Ar fi de dorit să se realizeze o asemenea “colecție” de formulări la nivel național și să se opereze aceste teste de similitudine, poate chiar de nou înființatele CNCS și CNECSDTI. După care să se evalueze amplitudinea fenomenului, urmând a fi sesizate organele abilitate. Numai astfel vom putea evita asemenea practici pentru competiția de Idei PCE 2020.
În final: Voi depune un proiect la această competiție, bazat pe cîteva idei care chiar mi se par revoluționare și care au rezultat după lecturi, reflecții și calcule intensive din ultimele luni. Sunt tare curios ce punctaj voi lua după luările de poziție din ultima vreme.
Aikido cu mintea si corpul coordonate. Invatati cum sa va relaxati si cum sa va pastrati calmul in conditii de stress. 
Legat de ce au acuzat influencerii cu sumele alea de 50 Euro/ luna pentru unii, dovediti-ne ca nu este asa. Convingeti intreaga conducere de la INCD Fizica materialelor sa isi depuna declaratiile de averi si interese pe siteul de la ANI.Dar nu o veti face. Pana atunci, lasati insinuarea ca nu ar fi asa, sau discutiile evazive. De mult v-am provocat si pe dvs. si pe colegul dvs. Dl. Pintilie sa faceti acest lucru. Daca l-ati facut si ne-a scpat, va rugam sa ne spuneti.
In rest, aveti dreptate in multe privinte: bugetul competitiei este extrem de mic, as spune inacceptabil de mic (banii ajung pt 6 proiecte pe domeniu), se califica mai toata lumea in fizica, in HEP toti oamenii din colaborarile mari se califica pentru ca toti isi pot considera articolele de colaborare ca articole prim autor (chiar daca nu au contribuit vreodata la un articol de colaborare), etc.
Si eu am trimis sugestii si mi s-au transmis cele mai bune ganduri. Punct.
Eternele figuri din Magurele ,care se cred cei mai mari si mai tari cercetatori,dar care vor sa se dea in gat unii pe altii pe la ANI, pe la tribunale! Nu va e domnilor un pic de rusine ,sa va dati in spectacol pe Contributors? Mai aveti un pic si va luati de par la Megaimage Magurele sau in piata de la langa supermarket. Faceti de rusine pe toti cercetatorii din Romania, care nu se preteaza la astfel de spectacole prin presa
Felicitari pentru cele scrise de dv. Cu cat mai multe asemenea analize cu atat mai bine. Ceea ce se reflecta in esenta este faptul ca ambiguitatea si aspectele derizorii, neclare de la inceput vor lasa mereu loc pentru coruptie si trafic de influenta. Asa va fi mereu la noi, si nu vad sa scapam prea repede de acest virus.
Este foarte bine ca autorul vorbeste despre calitate, despre criterii stiintifice pe care orice responsabil/director de proiect trebuie sa le indeplineasca.
Evident, are dreptate ca toata poliloghia despre „SRI = SIA / SIR, cu SIA = SRI. ” nu serveste la mare lucru. Nici un evaluator care se respecta nu sta sa calculeze aiurea in tramvai: el se va uita la CV-ul celui care a depus proiectul, la articolele aparute si acceptate ale acestuia si la tot ce mai scrie in CV ( invitatii, colaborari internationale, conferinte si calitatea acestora, grant-uri etc).
Dar ceea ce nu inteleg si mi se pare o mare ipocrizie fraza urmatoare:
„Mi se pare cumva decent să admitem ca un cercetător senior din România care a căștigat un proiect într-o competiție atât de dură să fie finanțat măcar cu 2000 Euro net pe lună, ceea ce reprezintă mai puțin decât un post-doc în Germania (cca. 4000 DM net pe lună câștigam eu în 1998 ca post-doc standard „”
Autorul vorbeste de „Cercetatorii din Romania” ca si cum acestia nu ar avea nici un salariu, traiesc din ceea ce ar castiga in cazul obtinerii unui grant. Cunosc multi universitari romani care activeaza in Romanai si salariile sunt decente pentru viata din Romania. De altfel, situatia s-ar aranja cat de cat, daca nu s-ar plati atatea salarii unor asa zisi profesori de pe la Tg-Jiu, Bacau, Suceava, Baia-Mare, Tragoviste etc.
Daca a calatorit prin Europa atunci ar trebui sa stie ca din granturile nationale nu se platesc salarii, exceptiile fiind tarile din Europa de Est, in ideea ca salariile universitarilor si cercetatorilor nu sunt prea mari , dar si aici trebuie sa existe o anumita decenta. Cand vorbim de 2000 de euros salariu numai dintr-un grant, in Romania, mi se pare de-a dreptul indecent.
Evident, exista ERC-urile ( de mai multe tipuri) care permit si salarizarea celor implicati in proiect, dar, repet, intr-o maniera decenta.
Pe de alta parte, ceea ce m-a deranjat in fraza de mai sus, si ceea ce ma deranjeaza in general este comparatia cu Germania si salariile sale, in general cu tarile unde salariile sunt mari. De ce nu se compara cu Italia, Spania, Portugalia tari care sunt mult mai apropiate de nivelul Romaniei? Romania nu este Germania si, cu mici exceptii, cercetatorii romani nu sunt cercetatori germani, nici un salariu din Romania nu se compara cu cel din Romania ( ce-ar fi sa comparam salariile profesorilor din preuniversitar, de exemplu?) .
Cat despre „Se pare că aceleași suspiciuni le au și colegii de la alte discipline, manifestate chiar pe contributors.ro. „, am comentat si la articolele „tinerilor” ( multi se apropie de 40 de ani) despre rapoartele respective si chiar daca sunt 100% de acord ca UEFÎSCDI nu exceleaza prin transparenta, totuis am fost surprinsa sa constat ca de indata ce am pus cateva intrebari despre calitate stiintifica si CV-urile celor care au depus proiecte ( despre care nu se spunea mare lucru in articolele aparute pe contributors) s-a facut o liniste desavarsita.
Ce trebuie inteles din aceasta tacere?
Într-adevăr, atât bugetul unui proiect cât și bugetul competiției sunt mici, iar problema subfinanțării cercetării în România este perenă.
Referitor la scorul relativ de influență:
Alegerea unui indicator scientometric pentru definirea standardelor minimale trebuie să asigure un echilibru între fidelitatea cu care acel indicator măsoară calitatea unei publicații (ceea ce poate duce la formule complicate), pe de o parte, respectiv ușurința calculului și verificării indicatorului, pe de altă parte.
În calculul factorului de impact, orice citare are o pondere egală, indiferent dacă provine dintr-o revistă foarte bună sau dintr-o revistă obscură. Astfel, o revistă care este foarte citată de reviste foarte slabe poate să aibă un factor de impact egal cu o revistă la fel de mult citată de reviste foarte bune. Dacă acceptăm că revistele științifice au, în medie, nivele diferite de calitate, atunci este preferabil ca și ponderile citărilor să reflecte cel puțin calitatea revistei care citează, dacă nu calitatea articolului. Scorul de influență al articolelor (article influence score, AIS) este un indicator care face această ponderare a citărilor. AIS este ușor de obținut, fiind furnizat în cadrul Journal Citation Report, de fostul ISI, actualmente Clarivate Analytics.
Când s-a introdus AIS în evaluările din România, în 2011, unii cercetători au reclamat faptul că unele domenii ar fi defavorizate de AIS. Într-adevăr, numărul tipic de citări al unei publicații variază semnificativ între domenii, de exemplu publicațiile biomedicale sunt mult mai citate decât cele din matematică, ceea ce se reflectă în mulți indicatori, inclusiv factorul de impact sau AIS. Pentru a putea stabili standarde minimale bazate pe AIS care să fie aceleași indiferent de domeniu, este de dorit să existe o normalizare la domeniu a valorilor folosite. Această normalizare este asigurată de scorul relativ de influență.
Analiza din articol a definițiilor este eronată, pentru că confundă, prin notarea cu același acronim SIA, două valori diferite: scorul de influenţă (nenormalizat) al articolelor al unei reviste, respectiv scorul *relativ* de influenţă al unui articol.
În Clarivate nu apare AIS raportat la un anumit domeniu, dar ideea cu domeniile este că dacă o revistă aparține mai multor domenii, la calculul scorului relativ de influență se utilizează încadrarea care duce la cel mai mare scor relativ de influență.
Definirea standardelor minimale pentru aceste competiții nu implică că un „director de proiect la competiția PCE va trebui să aibă în ultimii 9 ani o performanță similară cu aceea dovedită de un absolvent de doctorat mediocru în 3 ani”. Presupunând că standardul minimal corespunde unui absolvent de doctorat mediocru, standardul minimal asigură doar o filtrare grosieră a propunerilor care provin de la cercetători care sunt sub acest nivel. De aceea, standardul este *minimal*. Alegerea directorilor de proiecte PCE trebuie să se asigure prin evaluare colegială (peer review), nu prin simpla depășire a unor standarde minimale scientometrice. Aceste standarde minimale trebuie să asigure doar faptul că procesul de evaluare nu este sufocat de prea multe propuneri irelevante, care ar risipi timpul evaluatorilor, ar necesita mai mulți evaluatori și deci ar scădea calitatea medie a evaluatorilor care pot fi implicați, ar genera costuri suplimentare deoarece evaluatorii sunt plătiți și ar prelungi durata evaluării; dar, pe de altă parte, standardele minimale trebuie să asigure o competiție serioasă între proiecte și faptul că principalul factor care contează pentru selecție este evaluarea colegială, nu standardul minimal. Datorită diferențelor între performanța diverselor domenii în România, un standard minimal identic pentru toate domeniile poate părea jos pentru fizică (un domeniu relativ performant în România) dar același poate fi considerat înalt în alte domenii. Este însă just ca standardul minimal să fie, pe cât posibil, același pentru toate domeniile.
Dl. Teodorescu spune „la condițiile de eligibilitate din Anexa 1 nu scrie dacă propunătorul proiectului trebuie să fie “autor principal” pentru articolele pe care le definește ca fiind reprezentative”; „Revenind totuși la condițiile de eligibilitate, așa cum sunt ele definite în Anexa 1, nicăieri nu scrie ca propunătorul ar trebui să fie autor principal pentru articolele pe care le listează”. Aceste afirmații sunt eronate, standardele minimale de eligibilitate din Anexa 1, pentru științele naturii, științe exacte și științe inginerești se referă la „publicarea […] ca autor principal”. Publicațiile din B3 nu au neapărat legătură cu publicațiile, evaluate scientometric, pe baza cărora se evaluează îndeplinirea standardelor minimale. Publicațiile din B3 pot fi citite de către evaluatori și aceștia pot să decidă singuri relevanța acestora, independent de indicatorii scientometrici ai acestor publicații.
Fără a mă referi la cazul specific indicat de dvs., în general, evaluarea colegială (peer review) este considerată cea mai bună metodă de evaluare, și este normal să existe discrepanțe între ierarhizarea bazată pe evaluare colegială, respectiv una bazată pe totalizarea factorului de impact. De exemplu, pot exista publicații în reviste cu un anumit factor de impact dar care să fie citate mai puțin decât o publicație medie din acea revistă, sau în ciuda citărilor publicația poate fi considerată puțin relevantă de către evaluator. Dacă nu ar exista astfel de discrepanțe, nu ar fi nevoie de tot efortul implicat de evaluarea colegială, și s-ar putea doar totaliza factorii de impact.
Va pun o intrebare legata de clasamentul pe un domeniu(oarecare), realizat conform Clarivate Analytics, in functie de AIS(Article Influence Score).
Presupunem ca in anul x primele „n” pozitii(pentru „n” mic; sa zicem n<6) sunt ocupate de anume reviste. Pot sa-si pastreze pozitiile in clasament revistele respective in anul x+1?
Daca criteriul se schimba in Impact Factor, rapunsul la intrebarea de mai sus mai ramane valabil?
As dori ulterior sa comentam asupra fenomenului relevat de raspunsul corect la intrebarile precedente!
In sensul unor pareri despre calitatea celor ce fac PEER REVIEW pentru PCE( de ex, in domeniul Matematica, nu poti desemna un specialist in algebra sa evalueze pe cineva care cerceteaza in domeniul PDE) si despre calitatea revistelor acoperite(indexate cu evaluare a IF) de Clarivate Analytics in baza de date Science Citation Index Expanded. Ma refer aici la cat de bine releva scorul IF sau AIS, buna calitate a articolelor publicate in revista y.
In domeniul MATH revistele luate in considerare de SCIE pot fi grupate pe cel putin 6-7 subdomenii, fiecare dintre acestea cu abordari de ordin stiintific total diferite.
Multumesc anticipat pentru interesul acordat acestei postari!
Stimate Coleg,
După cum am intitulat contribuția mea, reacția era „la cald”. Îmi cer de pe acum scuze pentru erorile din textul publicat (sunt chiar și câteva de limba română). Greșeala cea mai impardonabilă ar fi că am omis să precizez că acele lucrări cu un SRI cumulat de 3 pe 9 ani trebuie să fi fost realizate ca autor principal. Aceasta nu schimbă prea mult lucrurile, cel puțin la Fizică și Chimie cam toți cercetătorii și cadrele universitare din țară de la Asistent / CS în sus satisfac condițiile de eligibilitate. Era greu să se formuleze condiții de eligibilitate specifice pe domenii și atunci se puteau utiliza factorii de impact sau AIS?
Oricum, limita este foarte jos și atunci putem anticipa peste 3750 de proiecte care se vor depune (este suficient să ne uităm pe ce s-a depus la PED, PD și TE în 2019), ceea ce conduce la o rată de succes de sub 2 %. Reușita începe să fie dominată de zgomotul statistic.
Ca să mă citez din înțelepciunea populară, am început că citesc intervenția Dvs. fiind bou și am terminat-o vacă. Tot nu înțeleg atunci de ce se definește „scorul relativ de influenţă al unui articol”, dacă oricum este egal cu scorul relativ de influență al revistei. Definiția aceasta a generat confuzia din formulele pe care le-am listat. N-am reușit să mă lămuresc nici cum prin accesarea Clarivate se pot determina acei SRI, mai precis cum se calculează „scorul de influenţă referinţă corespunzător unei reviste ştiinţifice”. Nu știu cum ar reuși evaluatorul mediu să se descurce. În felul acesta, practic era suficient să se indice linkul la UEFÎSCDI unde sunt listați acești SRI, fără alte explicații. Oricum, vă mulțumesc pentru efortul de a mă lămuri și vă sfătuiesc pe viitor, dat fiind că ați evoluat în diferite constelații guvernamentale până acum, să ajutați autoritățile să emită documente mai coerente.
Domnule Teodorescu, calculul scorului relativ de influenţă (SRI) e destul de simplu. Pentru fiecare domeniu există un clasament al revistelor conform AIS (article influence score, cel calculat de Clairvate Analytics în Journal Citation Reports). Scorul de referinţă pentru un domeniu este mediana AIS-ului din acest clasament. Se împarte AIS-ul revistei la acest scor de referinţă şi se obţine scorul de influenţă relativ (SRI). Deci un SRI egal cu 1 corespunde unei reviste aflate exact la jumătatea clasamentului în domeniul respectiv. Dacă o revistă este încadrată la mai multe domenii, se optează pentru SRI-ul cel mai mare. Un SRI cumulat mai mare decât 3 echivalează cu trei articole publicate ca autor principal în zona galbenă (sau roşie) a clasamentului respectiv (presupun că povestea cu zonele galbenă şi roşie vă e familiară). Clairvate nu calculează SRI-ul ci doar AIS-ul; SRI-ul este un indicator introdus de CNCS de aproape zece ani şi care a fost folosit în repetate rânduri în call-urile supervizate de CNCS (PCE 2011, PCE 2012, etc…), deci nu-l veţi găsi la Clairvate, ci pe site-ul UEFISCDI (https://uefiscdi.gov.ro/scientometrie-baze-de-date). În ceea ce priveşte temerea dvs. că evaluatorii nu se vor descurca cu acest indicator, eu cred că este nefondată pentru că SRI va fi folosit doar pentru partea de eligibilitate. Odată ce proiectul a intrat în competiţie putem uita de SRI, evaluatorul are la dispoziţie secţiunile B1, B2 si B3 pentru a-şi face o idee despre performanţa ştiinţifică şi vizibilitatea internaţională a directorului de proiect. Legat de suspiciunea dvs. că vom asista la un tsunami de proiecte (peste 3750, dacă nu mă înşel), eu cred că riscul să se întâmple aşa ceva este mic: în 2011 şi în 2012, cu standarde minimale mai scăzute decât cele din pachetul actual de informaţii au fost 1054 şi, respectiv, 659 de proiecte depuse (nu doar eligibile ci toate la un loc). Iar în 2016, cand n-au existat standarde minimale as such, au fost 936 de proiecte depuse. Deci dacă n-a explodat (în sensul bun al cuvântului) ştiinţa românească în ultimii ani, mă îndoiesc că vom avea de-a face cu aproape 4000 de proiecte eligibile. În sfârşit, legat de buget, aici n-ar trebui să ma pronunţ pentru că nu am toate datele problemei, dar suspectez că pandemia de covid-19 şi presiunile bugetare asociate cu aceasta ar putea sa aiba ceva de-a face cu suma alocată competiţiei. Prefer să văd jumătatea plină a paharului, faptul că după 4 ani avem din nou o competiţie de proiecte pentru cercetarea fundamentală.
Stimate Dle Prof. Babeș, mulțumesc pentru clarificări. Încă o dată, indicațiile unui cercetător sunt mult mai clare decât ce emană birocrații prin documentele oficiale. Cu ajutorul Dvs. de mai sus, voi încerca să testez totuși cum se face. Îmi cer de pe acum scuze publicului larg pe care nu-l interesează numerologia aceasta, însă consider că demersul următor poate găsi suficiente persoane interesate în lumea cercetărorilor, asaltată de această numerologie.
1) Vreau să determin SRI pentru o revistă, să zicem Applied Surface Science. “Prietenii știu de ce”, suficient să spunem că are un factor de impact ridicat și un AIS mai degrabă modest. Și este încadrată la mai multe categorii. Are și un statut special la ultimele competiții de “premierea rezultatelor cercetării”.
2) Merg pe Clarivate Analytics, Journal Citation Reports, Browse by Journal, introduc denumirea acestei reviste. Găsesc AIS-ul din 2018 (publicat în 2019) al revistei: 0,671. Factorul de impact 2018 este 5,155.
3) Găsesc categoriile următoare: Chemistry – Physical (1), Physics – Applied (2), Physics, Condensed Matter (3), Materials Science, Coatings & Films (4).
4) Merg pe urmă tot pe Journal Citation Reports, de data asta pe Browse by Category, însă nu găsesc Median Article Influence Score, despre care vorbiți Dvs…
5) Ok, în lipsă de altceva, găsesc la fiecare categorie Median Impact Factor: 2,492 pentru (1), 1,872 pentru (2), 2,242 pentru (3), 2,008 pentru (4).
6) Conform algoritmului, numitorul va trebui să fie cel mai scăzut, adică ar rezulta un factor de impact relativ 5,155/1,872 = 2,754.
Valoarea SRI tabulată de UEFÎSCDI este 1,923; revenind, aceasta ar însemna un AIS mediu la care a fost raportat AIS-ul revistei de 0,349. Să fie atât de jos AIS-ul median pentru vreuna din categoriile de mai înainte?
Dacă cineva poate lămuri aceste lucruri, este binevenit.
Revenind, hai să spunem că “filtrarea” directorilor de proiecte este așa cum este. (În continuare, îmi mențin părerea că filtrul trebuia pus mult mai sus. Dar să spunem că un cercetător cu un “output” mai scăzut decât al unui doctorand mediu poate avea la un moment dat o idee genială, și nu-l putem exclude din start.) Dar cum vine cu performanța dovedită a evaluatorilor? Credeți că unuia care poate lista în 9 ultimii un SRI cumulat pe articole ca autor principal de peste 10 ori mai ridicat decît criteriile minimale (cazul subsemnatului) îi va conveni să fie evaluat de cineva care a publicat de 5 ori mai puțin? Îmi pare rău, acesta nu este “peer review”. Scuze pentru lipsa de modestie, dar cred că a cam trecut vremea capului la cutie pe care sabia nu-l taie.
Legat de bugetul competiției, Dl. Ciuparu tocmai a avansat suma de 150 milioane, cu bătaie spre 300. Poate că a folosit ceva faptul că ne-am “inflamat”, aici și aiurea. Dl. Ciuparu a justificat suma mică alocată inițial invocând argumente legate de Ministerul Finanțelor și de angajamentele bugetare de anul acesta. Dar proiectele se vor derula începând cu 2021. În fine, poezia cu autoritarul de cercetare care plânge pe umerii cercetătorilor că “nu ne-au lăsat cei de la Finanțe” am fumat-o, fără excepție, în toate guvernările de până acum.
Acum e pandemia de Covid-19. Criza ecologică a rămas la locul ei. Dacă poimâine apare o pandemie informatică? Sau dacă chinezii decid să pună embargou pe pământurile rare (ne întoarcem la magneții cu ferite?), sau rușii și sud-africanii pe paladiu (renunțăm la catalizatori și până la urmă la motoarele cu ardere internă?) Sau dacă apar fenomene meteorologice necontrolabile? N-ar trebui să menținem în activitate o masă critică de cercetători în domenii legate de biologie moleculară, energii reînnoibile, informatică, magnetism, cataliză, sisteme complexe, matematică?… Facem aceasta cu 6 proiecte pe domeniu, decise în urma expertizei unor evaluatori mai puțin performanți decât doctoranzii medii chiar și din România?
„Credeți că unuia care poate lista în 9 ultimii un SRI cumulat pe articole ca autor principal de peste 10 ori mai ridicat decît criteriile minimale (cazul subsemnatului) îi va conveni să fie evaluat de cineva care a publicat de 5 ori mai puțin? Îmi pare rău, acesta nu este “peer review”.”
Ati pune acest text în „Letter to editor” acompaniind un articol trimis la – să zicem – Applied Surface Science?
Nu este cazul. La reviste serioase se îngrijesc editorii de selectarea unor reviewers cu un background suficient. Nu pot estima cine a fost referent la articolele mele, însă știu la ce articole am fost eu referent și, cu puține excepții, indicatorii scientometrici ai autorilor erau inferiori sau comparabili cu ai mei. Iar când am avut șansa să fiu referent pentru articole scrise de adevărate somități în domeniu (de exemplu cu indici Hirsch pe la 40-50), aceste articole erau extrem de bune și practic nu aveam ce comenta, eventual puteam face câteva sugestii. Plus că la revistele cu pretenții se poate face rebuttal la decizia editorului bazată pe reviewers și aceste rebuttal-uri sunt chiar tratate serios de editori. Ceea ce nu este cazul cu proiectele naționale. Să nu amestecăm lucrurile. A compara funcționarea selecției articolelor la reviste serioase cu selecția proiectelor naționale revine la a compara un BMW cu un Lăstun, pentru cine-și amintește de marea relizare a industriei automobilistice românești comuniste.
Cum, discutia se poarta partial in jurul domeniului Fizica, remarcam diferenta de calibru intre adversarii ideologici ai prezentului pachet de informatii, prin prisma unor rezultate in competitiile anterioare: dl Teodorescu, primul loc in competitia PCCDI, domeniul Tehnologii noi si emergente (PN-III-P1-1.2-PCCDI-
2017-0152) si dl Micu, ultimul loc in competitia PCE 2016, domeniul Fizica (PN-III-P4-ID-PCE-2016-0434). Felicitări pentru schimbul de idei, atât timp cat are ca scop îmbunătățirea practicilor din sistem si nu lupta (crâncenă) pentru fonduri!
Dle Popescu,
Indiferent de acest esec personal, pentru care nu voi incerca sa gasesc justificari si nici sa trimit lumea la alte competitii/evaluari la care am primit note foarte diferite pentru aceeasi cercetare, am militat tot timpul pentru criterii corecte in evaluare, etc. In plus ma abtin de la comentat competitia PCCDI. Chiar si daca as comenta-o, nu ar fi pentru a lasa sa se inteleaga ceva negativ despre prestatia stiintifica a dlui CMT.
Cred ca e preferabil sa discutam idei, nu persoane.
Revenind, deci, nu am militat niciodata pentru scaderea standardelor sau pentru distribuirea banilor din cercetare in alte moduri decat competitii de proiecte. Am spus tot timpul ca performanta trebuie sustinuta prin competitii evaluate cat mai obiectiv, preferabil de catre evaluatori straini. Asta inseamna ca imi asum posibilitatea de a mai primi atat note mici cat si mari, daca voi merita, la evaluare. Nu am cerut niciodata o finantare pe alte criterii.
Lucrez de 12 ani la Dep Math intr-o universitate din Franta. Pana in 2011, cand am aplicat pentru PCE in cadrul competitiei deschise de UEFISCDI, nimeni din departamentul meu nu auzise de ISIWebofKnowledge, Impact Factor, AIS, etc Aventura mea via PCE a fost cea care a facut astfel de lucruri cunoscute in randurile unor colegi de dep. Interesul lor a fost de scurta durata. Intre timp cred ca au si uitat discutiile de atunci.
Punctez faptul ca exista free acces la Clarivate Analytics(fostul ISIThomson Reuters) in universitate, ca, de altfel, in toate universitatile din Franta, banuiesc. Si la multe alte baze de date exista free acces. Enorm de multe.
Dupa ce am aflat despre ISI(!!!) am incercat sa ma informez, discutand cu prieteni sau colaboratori din USA. Doar cativa auzisera de Institute for Scientific Information from Philadelphia si stiau cam ce fac cei de acolo. Dar nu erau deloc interesati, pentru ca nu interactionau deloc cu ceea ce faceau cei de la ISI. Si vorbesc despre persoane din Dep Math de la Berkeley, UCLA, Indiana University at Bloomington, Lincoln University of Nebraska.
Un coleg roman de la Louisiana State University mi-a explicat de ce. Pentru ca nimeni nu utilizeaza acele scoruri promovate de ISI Thomson pentru a face evaluari, la nici un nivel. Adica nu avea cunostinta de asa ceva. De o universitate sau o organizatie care sa tina cont de scorurile ISI ale revistelor unde publica cercetatorul x. Mi-a zis ca stie ca in afara de Romania, asa ceva se practica prin Iran, China, Vietnam.
In Franta cand aplici la un grant pe math(sunt foarte putine cele de mathematiques pure) te evalueaza o comisie deasupra oricaror suspiciuni, care stie sa evalueze capacitatile fara a fi nevoie de ISI. Jurnalele luate in considerare sunt cele frantuzesti, in principal, dar si cate ceva din Germania sau Anglia.
Punand altfel problema, ma intreb ce releva scorurile date de Clarivate Analytics? Daca baza de date e serioasa, orice revista luata in considerare de baza de date e serioasa. Cate citari au articolele si pe unde sunt acestea represinta o chestiune de importanta relativa. De exemplu la math, depinde de domeniul in care lucrezi(daca lucreaza mai multi in domeniu, sunt mai multe citari, daca nu, sunt ,mai putine). Sunt domenii ale math in care daca sunt 15 specialisti in lume, e deja mult. Deci domeniile periferice sunt fara sanse de citari. Unele sunt cu putini specialisti, pentru ca teoriile sunt extrem de complicate, si e greu sa stabilesti rezultate.
Sunt jurnale putine, de exemplu, care publica articole tinand de Knot Theory. Si atunci unde poti cita? Sper ca intelegeti ce vreau sa spun!
Important este domeniul in care scrii si valoarea articolului evaluata de specialisti reputati. Chiar daca articolul e in JOurnal fur die Reine und Angewandte Mathmatik sau Annals of Mathematics, poate sa fie considerat slab de specialisti!
Pacat ca intrebarile pe care le puneam in alt comentariu nu au suscitat interes! La ceea ce am scris aici vroiam sa ajungem!
De acord cu afirmatiile dvs maia putin cu povestea „Jurnalele luate in considerare sunt cele frantuzesti, in principal, dar si cate ceva din Germania sau Anglia.” . Se publica foarte putin in revistele frantuzesti, poate in Analles de l’IHP, Journal de l’Institut Jussieu, cel de teoria numerelor de la Bordeaux, si alte cateva reviste de top, in rest marea majoritate a jurnalelor sunt internatioanle.
Si eu am avut aceeasi reactie cand colegii din Romania au inceput sa vorbeasca despre ISI, IF etc, acum vreo 15 ani cred: nu stiam ce sa cred, pentru ca nimeni in jurul meu nu vorbea de asa ceva ( nici eu nu traiesc in Romania) iar trimiterea unui articol la un jurnal sau altul se baza pe alte criterii. Mai precis ( dvs o stiti bine) fiecare stie care sunt jurnalele foarte bune si bune din domeniul sau, un director de teza este capabil sa sfatuiasca un student cam la ce revista are sanse articolul respectiv etc. Nimeni nu sta sa calculeze IF , SRI etc.
Din cate am inteles, la inceput ideea aceasta cu „indicatori de calitate „a fost buna, numai ca in timp aceasta idee a fost pervertita. Se dorea sa existe un clasament pentru a se decanta valoarea de nonvaloare: stiti ce inflatie de doctori si profesori universitari este in Romania si cate universitati au aparut in ultimii 30 de ani. Dar smecherii s-au adaptat repede, asa ca au aparut ( si nu numai in Romania) tot felul de reviste, jurnale si edituri fara nici o valoare stiintiifca dar unde se publica ( si citeaza) in prostie. Daca lucrati in domeniul matematicii ati auzit de celebrele reviste romanesti de matematica cu un IF de 1,5 ( spre informare London Mathematical Society are un IF de 1,1 ) pe baza carora unii si-au facut niste ” cariere universitare” fabuloase. In alte domenii situatia nu este diferita, ba chiar lucrurile stau mult mai rau.
In fizica, matematica, chimie de bine de rau scolile romanesti sunt cat de cat cunoscute, exista oameni buni spre foarte buni cunoscuti in mediul international, sunt conferinte de calitate, sunt invitati oameni de calitate. Dar in alte domenii este jale, jale si cam atat.
Iar tipul acesta de competitie bazata pe criterii nu foarte clare si unde sunt sume mari la mijloc, (unele cam de talia bugetului unui ANR) nu face decat sa arate situatia dezastruoasa din cerectarea romaneasca si care nu are mari sanse sa se amelioreze daca ma uit la majoritatea comentariilor.
Total de acord cu ce ati scris!
Eu in Franta nu cunosc pe nimeni, care nu e din Romania, lucrand in domeniul MATH, care sa fi comentat ceva in legatura cu sau scris prin vreo revista(jurnal) de math din Romania. Cu exceptia catorva matematicieni mai varstnici care vorbeau foarte frumos despre Revue roumaine des mathematiques pures et appliquees, nu am auzit niciodata nimic, nu am fost intrebat niciodata despre alta publicatie math romaneasca.
Exista elogii la adresa profesorului Ciprian Foias, a lui Aurel Cornea, Martin Jurchescu(Odihneasca-se toti in pace), pentru Ciprian Manolescu. Adica astea sunt nume cunoscute si apreciate.
In rest nimic! Si atunci cum sa nu fi cel putin surprins cand vezi cata pretiozitate si savanterism in evaluarile facute prin Romania!
Adica, daca peste 40% dintre revistele de math de la Clarivate Analytics sunt asa cum sunt(stim cum), ce relevanta are o evaluare pe scorurile date de respectiva institutie? Cum spuneam in comentariul anterior, daca baza de date e atat de tare, atunci contine numai reviste valoroase, nu? Si ar trebui sa le luam in considerare pe toate de acolo! In caz contrar, necontinand numai reviste valoroase, existand multe pseudoreviste de math, inseamna ca baza de date nu e serioasa. Si atunci de ce tinem cont de scoruri date de aceasta?
Am uitat sa punctez o chestiune strigatoare la cer. Cu astfel de „evaluari”, fel si fel de nonvalori, publicand prin reviste de „computation” si „teoria aproximarii” ajung sa fie cotati mai bine decat cei ce publica in reviste cu traditie, vechi de peste un secol.
Exista mii de articole in reviste Applied Math care invart o aceeasi metoda modificata pe ici, pe colo, ca sa se afle in treaba autorii acestora. Si probabil mai iau ceva bani de la UEFISCDI, ca sa mai „imbogateasca” domeniul cu inca alte articole de doi bani.
Nu stiu cu ce colegi din Romania ati vorbit, dar in general la competitiile de granturi PCE nu se folosesc indicatori ISI gen Impact factor sau SRI decat in PRIMA FAZA, adica pt a stabili eligibilitatea unui proiect. Prima faza e pur administrativa, pt a opri aplicatiile prea numeroase ale unora fara sanse reale. In a doua faza, cea mai importanta, de evaluare peer review de catre experti internationali, NU se folosesc impact factor, SRI, etc. Evaluatorii citesc articolele aplicantilor si se uita atent la CV, nu la impact factors. Calitatea evaluatorilor internationali este foarte mare, doar studiati lista de experti utilizati in competitia 2020. Sunt in marea majoritate cercetatori extrem de buni, unii din ei evalueaza si proiecte gen Marie Curie. Nu mai faceti afirmatii aiurea si arogante. Nu toti cei din Romania sunt slabi, si nu toti cei din Franta sunt buni. Exista cercetatori f.buni in Romania in matematica. In SUA sunt vreo 30 universitati tari, dar si multe modeste (precum Univ Nebraska…).
Am omis sa spun. Cand e vorba de un grant, mai ales daca sumele sunt mari, evaluatorii citesc efectiv o parte dintre articolele aplicantilor, fiind foarte rigurosi si atenti in evaluare.
Mai duri decat un Reviewer de la oricare jurnal. Conteaza foarte multe aspecte!
Sunt atat de buni in domeniul lor, incat poti spune ca stiu cam tot ce s-a publicat in domeniu.