Valutazione e politiche universitarie: premiata la ricerca “un tanto al chilo”?

As China tries to take its seat at the top table of global academia, the criminal underworld has seized on a feature in its research system: the fact that research grants and promotions are awarded on the basis of the number of articles published, not on the quality of the original research. This has fostered an industry of plagiarism, invented research and fake journals that Wuhan University estimated in 2009 was worth $150m, a fivefold increase on just two years earlier.

Così risulta dall’articolo dell’Economist pubblicato, con l’evocativo titolo Looks Good on Paper, il 28 settembre per dare conto di un problema sempre più frequentemente ricorrente nel mondo accademico cinese.

Uscendo dai postumi di una “rivoluzione culturale” che negli anni Sessanta e Settanta aveva prodotto macerie anche nel mondo della ricerca, e puntando a dare alle proprie attività scientifiche il profilo e la qualità necessarie al ruolo di potenza mondiale a cui il paese aspirava, a partire dagli anni di Deng Xiaoping le autorità cinesi trovarono che l’utilizzo prevalente di dati statistici sul numero e sull’impatto delle pubblicazioni rappresentasse un buon criterio per il reclutamento e la promozione degli studiosi, capace di superare gli ostacoli delle scelte guidate da pregiudizi e opportunità politiche che troppo spesso si erano verificate in passato. Se però, quando il mondo della ricerca scientifica cinese aveva ancora numeri relativamente limitati, questo utilizzo dei dati poteva essere temperato dalla conoscenza personale e dall’apprezzamento diretto della qualità dei contenuti di ricerca, ormai la situazione sembra sfuggire di mano.

In Cina più che altrove, la pubblicazione è ormai il fine del lavoro di ricerca, e non solo il mezzo principe per la comunicazione scientifica. Gli studiosi sono impegnati ad accumularne quante più possibile, incoraggiati in questo dai dirigenti degli istituti e dei dipartimenti, premiati o penalizzati anch’essi sulla base della quantità di pubblicazioni prodotte al loro interno. La necessità di passare lo scoglio della peer review per accedere alle riviste più prestigiose, però, porta sempre più spesso studiosi e gruppi di ricerca cinesi a tentare di “piazzare” più titoli di quanto effettivamente la qualità del loro lavoro possa sostenere, e quindi ritoccare i propri dati al fine di far apparire positivi risultati non significativi anticipando la “riscossione” dei risultati di un’analisi in corso, o a far proprie le idee di altri.

Molto di questo materiale, naturalmente, non passa i controlli, e viene rifiutato da riviste di reputazione internazionale. Esso  può però essere collocato sui fake journals che, a pagamento, stampano qualunque paper, e che grazie al titolo “serio” e alla presenza di un comitato scientifico (in certi casi altrettanto prezzolato, in altri composto da figure autorevoli che non hanno la minima consapevolezza di esser state coinvolte). Questo tipo di pubblicazioni non è di nascita recentissima, e per qualche anno era utilizzato dagli studiosi delle discipline scientifiche in situazioni estreme, come nei casi in cui si erano ottenuti finanziamenti non troppo rilevanti e “controllati” per esperimenti falliti e che avevano comunque bisogno di avere un “pezzo di carta” da mettere in coda al dossier. Oggi, invece, la pratica di rivolgersi a questi periodici è in crescita, e soprattutto, denunciano alcuni scienziati cinesi, le credenziali che essi offrono si trovano sempre più spesso nei curricula scientifici destinati a circolare tra gli addetti ai lavori. L’ingresso di questa truffa bella e buona negli atenei è possibile perché

some administrators are unqualified to evaluate research, Chinese scientists say, either because they are bureaucrats or because they were promoted using the same criteria themselves,

e quindi sono incapaci di distinguere “a occhio” un journal affidabile da uno truffaldino, o perché

the administrators’ institutions are evaluated on their publication rankings, so university presidents and department heads place a priority on publishing,

chiudendo un occhio sulla provenienza dei prodotti.

Quanto accade in una realtà così lontana da noi come quella cinese dovrebbe farci riflettere, vista la piega che sta prendendo la gestione della ricerca italiana di fronte alle nuove politiche universitarie.

Da circa tre anni a questa parte, infatti, l’Agenzia per la valutazione dell’università e della ricerca (ANVUR) ha proceduto e sta tuttora procedendo alla supervisione tecnica di una elefatiaca opera di valutazione del personale universitario italiano, sia per giudicare la qualità dei prodotti scientifici usciti da tutte le sedi accademiche negli ultimi anni così da assegnare alle migliori una quota più significativa dei (magri) finanziamenti previsti (Valutazione della Qualità della Ricerca – VQR), sia per individuare i parametri in base ai quali assegnare le idoneità alla promozione alle fasce superiori dell’insegnamento di ruolo a strutturati e precari. Le modalità operative di questi enormi tentativi di classificazione oggettiva della qualità del nostro personale accademico, però, sono state criticate duramente e sotto vari punti di vista, e l’elemento che maggiormente le indebolisce è proprio, come avviene in Cina secondo l’Economist, l’eccessiva fiducia nei dati statistici.

Nella VQR, effettivamente, era previsto un passaggio piuttosto complesso di valutazione dei contenuti di un numero limitato di prodotti (tre pubblicazioni per studioso):  i problemi risiedevano soprattutto nell’effettivo valore di una raccolta di dati che era sostanzialmente la pura e semplice giustapposizione di quanto fatto dai dipendenti dei vari atenei individualmente, e nell’eccessiva rigidità con cui si intendevano legare premi e punizioni a una valutazione unica e inappellabile che però non era considerata metodologicamente solida e condivisibile.

Molto più complessa, e almeno sulla carta importante per limitare il novero dei concorrenti ai posti di ruolo, è la situazione delle abilitazioni. Per la loro assegnazione si è stabilita come criterio principe il superamento di alcuni valori minimi di produzione di monografie scientifiche, pubblicazioni scientifiche e articoli su riviste di “prima fascia”, variabili tra i diversi settori disciplinari sulla base della produzione pregressa del personale già assunto, e per ogni sezione è stata elaborata una definizione di pubblicazione scientifica ammissibile che ha destato molte critiche vista la presenza sparsa di prodotti apparsi in sedi assolutamente incongrue. Una correzione basata sulla robustezza dei curriculum e contenuto delle pubblicazioni migliori di ogni candidato è prevista, ma è affidata a commissioni assai ridotte (cinque studiosi per settori disciplinari di 400-600 studiosi), materialmente incapaci di svolgere una riflessione accurata per ragioni di tempo e di specializzazione, e per di più sorteggiate tra i professori ordinari in grado di superare i livelli minimi di produzione scientifica richiesti. L’affidamento alle scremature quantitative, quindi, sarà sostanzialmente inevitabile, tanto più che nei criteri specifici di settore molte commissioni hanno già lasciato trasparire che anche per dare un parere sulle esperienze culturali e professionali pregresse si baseranno più sulla presenza o meno in curriculum di certe tipologie di achievements che non sull’organicità complessiva del percorso di formazione e di carriera.

Senza continuare in ulteriori dettagli per addetti ai lavori, questa situazione ricorda in modo preoccupante il caso cinese riportato dall’Economist per due elementi fondamentali.

Il primo è che, dietro questo troppo spesso cieco abbandono dell’ANVUR alla giustizia dei numeri e dei dati “oggettivi”, contrassegnato persino dalla difficoltà a espungere dagli elenchi delle pubblicazioni forniti dai candidati articoli su quotidiani e settimanali, si cela lo stesso timore degli organi politici e amministrativi cinesi di dare spazio con valutazioni di natura individuale e soggettiva a illegittime considerazioni non controllabili obiettivamente e in senso lato “politiche”, e quindi la stessa sensazione dei componenti dell’Agenzia di non essere del tutto legittimati a entrare nel merito delle valutazioni scientifiche ben sapendo che ogni scelta si presterebbe a polemiche che solo una piena condivisione del ruolo nella comunità scientifica renderebbe possibile sostenere.

In un sistema di reclutamento storicamente legato all’importanza delle strutture amministrative locali, e che le riforme degli ultimi anni non hanno da questo punto di vista minimamente intaccato, il ruolo di valutazioni di idoneità fondati in modo così rigido su valori numerici accolti senza un reale intervento di riesame, sarà quello di diventare semplicemente la giustificazione formale delle assunzioni decise dai singoli atenei e dai singoli istituti.

In secondo luogo, sono suggestivi e preoccupanti gli effetti che lo “stile-ANVUR” comincia ad avere sulla nostra editoria scientifica. Da noi, la pur flebile barriera della valutazione dei contenuti non ha portato all’esplosio dell’utilizzo dei fake journals per il miglioramento del proprio track record (non ancora? I messaggi che mi arrivano sulla casella email lasciano sospettare che anche il mondo accademico italiano stia diventando un mercato potenzialmente ricco). Tuttavia possono esser messi in evidenza alcuni effetti più sottili, come mi è capitato di notare confrontandomi con alcuni protagonisti della professione editoriale al convegno Il futuro dell’università e della sua editoria, svoltosi il 6 giugno scorso a Bologna per iniziativa di Mediaevo – Luca Sossella Editore.

Nelle comunicazioni dei professionisti dell’editoria scientifica e accademica appariva chiara innanzi tutto la consapevolezza del loro modello di gestione aziendale rispetto a quello di case editrici dotate di robusti apparati commerciali, e in generale si sentiva una positiva volontà di giocare un ruolo attivo nella definizione delle forme di diffusione e condivisione dei contenuti scientifici e intellettuali, non guardando agli esempi di sperimentazione di disseminazione multimediale integrata o di sfruttamento dell’open access come a fenomeni invidiabili ma lontani, e sforzandosi di diventare forza attiva nella loro promozione attraverso l’offerta di adeguate competenze di gestione professionale dei media ai propri interlocutori all’interno del mondo della ricerca e dell’insegnamento superiore.

A queste buone intenzioni corrisponde però un quadro che, nell’attualità come nel passato più prossimo, getta una luce assai meno positiva ed “eroica” su un settore essenziale per la comunicazione scientifica. Troppo spesso le case editrici di prodotti accademici si sono mostrate, più che propositive nella generazione di innovazioni tecniche per rispondere alle sfide, prone alla volontà della propria “committenza”, assimilandone anche gli aspetti più perversi.  In particolare, la partenza del carrozzone delle idoneità ai ruoli universitari sta orientando gli editori a proporsi come creatori a pagamento di profili concorsuali, attraverso l’alimentazione di ranking bibliometrici rigidi, sclerotizzati e autoreferenziali e la sostanziale certezza che nessuno leggerà mai seriamente i contenuti dei chili di carta messi sotto la pressa.