In primul meu articol publicat pe Ziare.com, am inceput o serie despre dezvoltarea academica a tinerilor din Romania.
In al doilea articol, am vorbit despre modelul de performanta propus de Ajax, o analogie la calitatea sistemului academic. Am descris ca prima componenta din modelul Ajax evaluarea individuala bazata pe un sistem de metrici comprehensiv.
In urmatorul articol, structurat in doua parti, voi vorbi despre analiza calitatii profesorilor din sistemul academic. Din pacate, mult mai mult decat analiza pentru tineri fotbalisti, analiza profesorilor se bazeaza pe un sistem stufos, cu multe componente si probleme specifice.
Este vital sa intelegem calitatea profesorilor din sistemul academic romanesc. Pentru fiecare Profesor Escu, trebuie sa stim ce calitate, ce trecut si ce potential are. Fara ura. Fara patima. Mai mult, si Profesorul Escu trebuie sa isi poata analiza performantele oricand, repede si fara dificultate - doar asa Estii nostri vor avea posibilitatea sa isi imbunatateasca performantele fara interventie din afara.
Cum sa-l analizam pe Profesorul Escu? Nu pot raspunde complet la aceasta intrebare intr-un articol scurt; sistemul este atat de complicat incat peste tot in lume evaluarea este facuta de agentii nationale, in loc ca evaluarea sa fie lasata la dispozitia fortelor pietei si ale societatii. Daca nu pot raspunde complet, voi incerca cel putin sa explic elementele principale ale evaluarii.
O sa-ti spun care sunt domeniile principale de activitate ale profesorilor si o sa-ti spun de ce in principiu cercetarea este atat importanta. O sa-ti explic cum se analizeaza cercetarea, inclusiv prin numere (metrici) in loc de vorbe. Nu totul va fi abstract - iti voi prezenta doua unelte gratuite de analiza si cateva repere de baza, pe care le poti folosi ca sa iti evaluezi singur profesorii. Ca de obicei, o sa incep cu o poveste din fotbal.
De la Mourinho la Profesorul Escu
Daca te-as intreba daca Jose Mourinho este un antrenor excelent, nu ai avea nicio ezitare sa-mi raspunzi. Ti-ar sta pe limba sa-mi spui de ce. Dar daca te-as intreba despre Rinus Michels sau despre Stefan Covaci? "Fotbal Total", poate mi-ai raspunde. Adica o inovatie in tactica jocului de fotbal care a revolutionat jocul mondial. "Campionatul European" si "Cupa Campionilor Europeni" (Cupa Europei la momentul respectiv - n.red.), ai adauga probabil. Adica unele dintre cele mai competitive trofee.
"Cruijff, Neeskens, Krol", ai mai spune. Adica talente educate de acesti mari antrenori. "Au pus Ajax-ul si Olanda pe harta marilor puteri fotbalistice", ai concluziona. Adica si-au dezvoltat si promovat organizatiile din care faceau parte. Poate ar trebui sa consulti un atlas de fotbal ca sa iti aduci aminte toate aceste lucruri. Sau poate, daca esti mai tanar, sau nu stii asa multe despre fotbal, te-ai duce la paginile lor de Wikipedia si ai vedea toate lucrurile astea.
Dar daca te-as intreba despre profesorul tau preferat, despre Profesorul Escu? Unde ar fi acel atlas, unde ar fi acea pagina de Wikipedia?
Comparatia intre Escu si Mourinho poate te surprinde, dar un cercetator modern actioneaza deseori ca un (mic) Mourinho: are de selectat si antrenat o echipa de cercetare, iar un articol publicat la varf este rezultatul cel putin al unui sezon de competitie dura si se simte ca o calificare in Champions League.
Un Best Paper Award la varf se simte si deseori valoreaza cat un Campionat Mondial, pentru intreaga echipa. Ca si in cazul lui Mourinho, Profesorului Escu ii sunt evaluate de catre organizatie, anual, si inovatia, si trofeele, si dezvoltarea talentelor, si balanta financiara si implicarea in dezvoltarea organizatiei.
Faptul ca nu fiecare Escu este de talia lui Mourinho, Michels sau Covaci iar este de inteles: cati antrenori de fotbal sunt?
Criteriile de evaluare pentru mediul academic: cercetare, educatie, valorizare si promovarea organizatiei
Profesorii din mediul academic trebuie sa implineasca misiunea universitatilor de a promova cunoasterea care ajuta societatea, industria si buna lor guvernare.
Profesorii au patru mari domenii de activitate, la care lucreaza simultan. Primele doua sunt usor de anticipat: profesorii trebuie sa dezvolte cunoasterea, prin cercetare stiintifica, si oamenii, prin educarea populatiei la nivel academic.
In plus, reflectand noua situatie economica a universitatilor si o atitudine din ce in ce mai evidenta de winner-takes-all, profesorii trebuie sa contribuie la valorizarea cunoasterii, prin proiecte care aduc bani universitatii, si sa se implice in promovarea organizatiei, in general prin participare internationala la discutia despre cunoastere si aplicarea ei.
Printr-un sistem complex de audit, Escu poate fi analizat din toate partile (teoria managementului vorbeste despre "360-degree analysis"). Pentru fiecare dintre cele patru domenii, sistemul de audit poate include o multime de criterii si metrici de performanta.
In ciuda problemelor specifice auditului (vezi [1, capitolul 2] pentru o analiza detaliata, care discuta si supra-solicitarea si dificultatea alinierii cu obiectivele institutiei), ultimii 150 de ani de management ne-au aratat ca auditul duce in general la eficienta (dar nu neaparat si la inovatie) si intuitiv si la o reducere a coruptiei, prin reducerea subiectivitatii in analiza individuala.
In ciuda parerii generale din Romania, cum ca profesorii duc un trai pe vatrai pe banii statului, realitatea este ca Profesorul Escu este supra-solicitat. Sistemul de audit ii cere lui Escu cel putin sa depaseasca stachetele pentru fiecare metrica din fiecare domeniu de activitate.
In special pentru pozitiile de inceput de cariera, in intreaga lume se observa ca mediul academic lucreaza mult peste program; un studiu ilustrativ din 2014 arata ca numarul mediu de ore lucrate la o institutie de nivel mediu este de peste 60 de ore pe saptamana [2]. (Din experienta personala, apreciez 60 de ore saptamanale ca limita de jos pentru nivelul de varf.) Sinecura pe banii statului? Escu tine sa ne contrazica.
Escu intampina dificultati si cand trebuie sa se alinieze cu prioritatile sistemului, care in Romania se schimba deseori, uneori anual sau de la ministru la ministru. Uite un caz concret: Daca Profesorii A. Escu si B. Escu sunt primul excelent la cercetare, al doilea excelent la educatie, si amandoi sunt buni in celelalte trei domenii, care dintre ei trebuie sa fie promovat primul [2]?
Problema este legata si de politicile de guvernare, si de realitatea economica, si de ambitiile universitatii unde lucreaza cei doi Escu. Pentru educatia din cele 37 de economii bazate pe inovatie [3, pagina 11, Tabela 2, coloana "Innovation-driven"], precum SUA, Olanda, si Singapore, cercetarea este cel mai important domeniu, depasind cu mult si uneori chiar inlocuind celelalte domenii.
Cu alte cuvinte, in Olanda este mult mai important (desi poate nu explicit in mod oficial) sa fii excelent la cercetare decat la educatie, iar A. Escu ar castiga comparatia.
In rand cu Bulgaria si China, Romania are o economie de nivel mediu la nivel global, condusa de criterii de eficienta (coloana "Efficiency-driven"). In aceste economii, simplist, eficienta dicteaza un balans intre cercetare si educatie, iar A. Escu si B. Escu nu pot fi departajati obiectiv.
Mai mult, in sistemele derivate din fostul bloc comunist, structura sovietica a facut ca universitatile sa fie locul unde se preda, iar laboratoarele de cercetare afiliate Academiei de Stat sa fie centrele de cercetare; poate cercetatorul A. Escu ar trebui chiar dat afara de la universitate? (Raspuns: Nu, nu, de trei ori nu!)
Totusi, daca Romania tot nu are economia necesara, trebuie sa renunte la calitatea in cercetare, in numele eficientei? Nu asa de repede, dar nici asa de simplu. Daca guvernarea isi propune aducerea Romaniei in grupul tarilor cu economie bazata pe inovatie, ar fi simplu de spus ca prioritatile in educatie trebuie sa fie cam ca in SUA, Olanda si Singapore.
Din pacate, intre economiile bazate pe eficienta si cele bazate pe inovatie distanta e mare, atat de mare incat teoria economica a introdus un pas intermediar, apt numit tranzitie de la eficienta la inovatie. Polonia, Brazilia si Rusia ar fi exemplele canonice pentru aceasta clasa. Pentru ele, anumite branse ale economiei ar putea fi deja aproape de un nivel de varf, unde doar inovatia continua poate produce crestere economica, dar per total economia este inca de eficienta.
Romania ar putea sa-si propuna macar promovarea intre tari ca Polonia si Brazilia, caz in care anumite universitati si anumite sectoare-cheie ale economiei ar putea sa-si propuna tinte ambitioase in cercetare. Estii din informatica ar putea fi ajutati sa exceleze.
Bun, deci cercetare. Dar cum se analizeaza cercetarea? (Despre calitatea educatiei, valorizarii si in promovarea organizatiei voi vorbi mai pe larg in articole viitoare, in alta serie.)
Intermezzo pentru ne-specialisti: Termeni necesari pentru analiza cercetarii
Analiza cercetarii include multe elemente distincte: calitatea si productivitatea cercetarii, vizibilitatea internationala si mobilitatea cercetatorului, ajutorul dat in dezvoltarea comunitatii stiintifice, cresterea noului val, ba chiar si posibilitatea sa de angajare in piata globala a muncii.
Pentru primul termen, sistemul academic global a dezvoltat unelte automate de evaluare, asa ca voi vorbi aici doar despre asta.
Articolul stiintific este acum unitatea de transmitere a cunoasterii. Prin urmare, analiza calitatii si productivitatii cercetarii Profesorului Escu are la baza analiza articolelor sale (analiza bibliometrica). Nu intamplator, legea promulgata de Funeriu [4], care a starnit multe comentarii in Romania, continea in primul rand o metoda de analiza bibliometrica.
Desi avea multe probleme de calibrare, legea data de Funeriu mi se pare primul si singurul pas serios facut spre imbunatatirea demonstrabila a sistemului academic romanesc, in ultimii 25 de ani.
Articolele stiintifice trec printr-un proces riguros si dificil de selectie. Dupa cercetarea propriu-zisa, autorii isi prezinta rezultatele sub forma unui raport stiintific (un articol), pe care il trimit spre evaluare specialistilor din domeniu. Daca specialistii sunt de acord ca articolul propus indeplineste standardele procesului stiintific si extinde semnificativ cunoasterea generala din domeniu, atunci articolul este acceptat spre publicare, devenind dupa mai multi pasi editoriali o publicatie in canale de publicare, in general carti, jurnale sau conferinte.
Importanta publicatiei este, in principiu, data de utilitatea articolului determinata de catre societate, economie si guvernare. Din pacate, utilitatea este greu de definit, asa incat in general o aproximam la publicare prin importanta media a tuturor articolelor publicate in acelasi canal de publicare sau, pe scurt, prin importanta canalului de publicare.
De exemplu, importanta unui articol publicat in Nature, cel mai prestigios canal de publicare pentru stiinta (dar care nu acopera informatica), este apreciata nu dupa ce scrie in articolul abia acceptat pentru publicare, ci dupa importanta articolelor publicate inainte de el in Nature.
In calculatoare, cele mai bune conferinte sunt mult mai importante decat cele mai bune jurnale, iar articolele publicate in ele sunt mult mai bine vazute decat articolele publicate in cele mai bune jurnale, desi articolele de conferinta sunt mai scurte si in general mai putin riguros evaluate inainte de publicare. Forma bate continutul [5].
Tocmai am definit recursiv importanta, deci la un moment dat va trebui sa folosim un caz de baza masurabil: numarul de articole care citeaza o publicatie (numarul de citatii) este o masura a importantei unui articol care poate fi evaluata direct, cu un cost relativ mic de evaluare. Numarul de citatii mai este cunoscut si ca impactul unei publicatii.
Jurnalele si conferintele ofera in general procesele cele mai riguroase de evaluare. Jurnalele publica articole acceptate tot timpul anului, in timp ce conferintele sunt sincronizate cu o intalnire fizica intre cercetatori si deci au cicluri de evaluare-acceptare in general anuale. Jurnalele au factor de impact, definit pentru un jurnal ca numarul mediu de citatii pe care un articol acceptat in acel jurnal le atrage. Cu alte cuvinte, daca Escu publica un articol in Nature, iar Nature are un factor de impact 40, ne asteptam ca articolul Profesorul Escu sa atraga 40 de citatii. (Cititorii versati in statistica au observat deja ca este posibil ca articolul Profesorului Escu sa atraga fix 0 citatii si ca "ne asteptam" nu este insotit de o probabilitate.)
De la natura periodice, conferintele au o rata de acceptare, adica raportul dintre numarul de articole trimise si cele acceptate pentru publicare; conferintele ultra-competitive au rate de acceptare intre 10 si 20%.
Pentru ca jurnalele si conferintele au procese complet diferite, analiza bibliometrica foloseste clasificari de calitate, care in general pun cam acelasi numar de jurnale in fiecare clasa. De exemplu, un sistem de clasificare ar putea pune cele mai bune doua jurnale si cele mai bune doua conferinte in clasa A+ (Tier-1), urmatoarele 3-5 in clasa A (Tier-2), urmatoarele 10-20 in clasa B (Tier-3) etc.
Din pacate, clasele nu sunt universal acceptate, clasele A si B sunt in practica mult mai numeroase, iar recent clasificari propuse de Australia, China, etc. au avut tendinta de a impinge mai sus conferintele unde aceste tari sunt mai bine reprezentate decat norma.
In legea promulgata de Funeriu, pentru informatica, aceste clase erau definite dupa clasificarea propusa de Australia, deci poate nu erau perfecte.
Productivitatea este de obicei definita ca numarul de publicatii pe an, eventual cu un plus pentru publicatiile cu importanta mai mare. In legea propusa de Funeriu, factorul de impact al jurnalului si clasa conferintei erau luate in considerare, desi greutatile relative propuse pentru un canal de publicatie sau altul nu corespundeau cu parerile specialistilor evaluatori la nivel global.
Premiul de cercetare este oferit de anumite canale de publicare, in general articolelor de varf dintr-un anumit an. Datorita selectivitatii, premiile sunt prestigioase, cu atat mai prestigioase cu cat clasa canalului de publicare este mai buna. Desi premiile de cercetare nu sunt in general cuantificate in analiza bibliometrica, intelegerea tacita este ca un premiu de cercetare aduce prestigiu si deci diferentiere intre cercetatori altfel de nivel similar.
Analiza bibliometrica suna deja complicat. Ce o face si mai complicata este ca toate aceste concepte si metrici se bazeaza pe date care trebuie centralizate coerent si metodic de catre o multime de organizatii care nu coopereaza prea bine. In consecinta, ca surse de date pentru analiza bibliometrica exista in acest moment trei competitori la nivel mondial [6]: ISI Science Citation Index mentinut astazi de Thompson-Reuters (acces platit), Scopus mentinut de Elsevier (acces platit) si Google Scholar mentinut de Google. Meritele ultimei surse au fost analizate de multi [6][7].
Google Scholar indexeaza un numar semnificativ mai mare de canale de publicare, in special conferinte, raporteaza mai multe metrici, si, in special, este momentan singura sursa credibila cu acces gratuit (la scholar.google.com).
Din pacate, Google Scholar nu filtreaza documentele, deci o fabrica de citatii, de exemplu o conferinta unde se accepta multe articole (deci multe citatii sunt introduse in sistem) fara prea multe intrebari (deci fiecare autor poate obtine usor o crestere semnificativa a numarului de publicatii) poate fi creata si exploatata de un grup de interese fara ca Google Scholar sa reactioneze.
In general, ISI si Scopus sunt folosite pentru stiinte exacte, iar Google Scholar pentru informatica, stiinte sociale si umaniste. [8] Din pacate, in legea data de Funeriu sursa de date era ISI, ceea ce face ca analiza bibliometrica pentru cercetatorii din informatica, stiinte sociale si umaniste sa fie in general irelevanta; calibrarea ar fi trebuit facuta mai atent, de catre consilierii pentru informatica etc.
Referinte
[1] G. Tuchman, Wannabe U: Inside the Corporate University. University of Chicago Press, Oct 15, 2009.
[2] J. Ziker, The Long, Lonely Job of Homo academicus. Articol in The Blue Review, 31 martie 2014. [Online] Accesat august 2015. URL thebluereview.org/faculty-time-allocation/
Nota: exista multe alte exemple, vezi si resursele din articolul academia.stackexchange.com/questions/27936/is-it-normal-for-an-advisor-to-expect-80-hour-workweeks-from-phd-students-and
[3] K. Schwab si X. Sala-i-Martin, Global Competitiveness Report 2014-2015: Full Data Edition. World Economic Forum, august 2014. [Online] Accesat august 2015. URL reports.weforum.org/global-competitiveness-report-2014-2015/
[4] D. Funeriu, Legea 4.478/2011, Ordin al Ministrului Educatiei, Cercetarii, Tineretului si Sportului privind aprobarea standardelor minimale necesare si obligatorii pentru conferirea titlurilor didactice din invatamantul superior... Monitorul Oficial al Romaniei, Nr. 448, 27 iunie 2011. [Online] Accesat august 2015. URL www.cnatdcu.ro/wp-content/uploads/2011/04/OMECTS_4478.pdf
[5] P. A. Lawrence, The politics of publication. Nature, vol.422, 20 martie 2003. [Online] Accesat august 2015. URL nature.com/nature/journal/v422/n6929/full/422259a.html (acces platit) sau cauta folosind Google Scholar (scholar.google.com) un PDF public.
[6] J. Bar-Ilan, Which h-index 27, hIa 1.60 si numar de citatii peste 4,000. - A comparison of WoS, Scopus and Google Scholar. Scientometrics, vol. 74 (2), 2008. [Online] Accesat august 2015. URL dx.doi.org/10.1007/s11192-008-0216-y (acces platit) sau cauta folosind Google Scholar (scholar.google.com) un PDF public.
[7] E. Orduna-Malea, J. M. Ayllon, A. Martin-Martin si E. Delgado Lopez-Cozar (2014). About the size of Google Scholar: playing the numbers. Granada: EC3 Working Papers, 18, 23 iulie 2014. [Online] Accesat august 2015. URL arxiv.org/abs/1407.6239
[8] A.-W. Harzing, Citation analysis across disciplines: The impact of different data sources and citation metrics. Publicatie personala, 1 iunie 2010. [Online] Accesat august 2015. URL harzing.com/data_metrics_comparison.htm
Autorii care semnează materialele din secțiunea Invitații – Ziare.Com își asumă în totalitate responsabilitatea pentru conținut.