Peer review e frode scientifica: da casi isolati a “sistema”?

È di pochi giorni fa la notizia che SAGE Publications, una delle più quotate case editrici scientifiche a livello mondiale, ha dovuto ritrattare sessanta articoli pubblicati tra il 2010 e il 2013 su una delle sue riviste, il Journal of Vibration and Control, a causa di fondati indizi relativi all’utilizzo di profili fittizi per bypassare procedure di peer-review facendo in modo che l’autore potesse valutare se stesso, e all’accordo tra autori “amici” per citarsi sistematicamente l’un l’altro e giudicarsi in modo favorevole.

Nel suo messaggio di notifica del drastico provvedimento, SAGE scarica l’intera responsabilità sugli autori implicati nella frode, e mostra l’avvenuta individuazione del comportamento poco commendevole come un successo dei propri strumenti di controllo e di verifica procedurale:

We regret that individual authors have compromised the academic record by perverting the peer review process and apologise to readers. On uncovering problems with peer review and citation SAGE immediately put steps in place to avoid similar vulnerability of the Journal to exploitation in the future.

L’atteggiamento è comprensibile, vista la posizione dell’editore nella stampa professionale peer-reviewed e il suo interesse in praticamente tutti gli ambiti della ricerca scientifica, con un’ampiezza che effettivamente può aiutare a diluire l’impressionante ammontare di sessanta articoli “corrotti” in un contesto assai più ampio di procedimenti di selezione e valutazione onesti e sicuri. Tuttavia, la concentrazione della frode su un unico periodico introduce interrogativi inquietanti sul fatto che in un settore di studi, ai massimi livelli internazionali, almeno in alcuni centri di ricerca comunque valutati come world leading l’imbroglio si stia imponendo come elemento costitutivo del costume accademico, e che il ruolo di alcuni gruppi di lavoro collettivi sia sempre più chiaramente quello dell’autopromozione fraudolenta dei propri membri invece dello sviluppo cooperativo della conoscenza.

Anche al di là di casi limite come questo, comunque in preoccupante aumento e ormai monitorati attentamente da siti specializzati come Retraction Watch, i segnali per una possibile degenerazione nelle pratiche di pubblicazione e indicizzazione dei prodotti scientifici si stanno moltiplicando e meritano attenzione. Come ha sottolineato in modo accurato un recente editoriale del Guardian, e come ben si accorgono gli addetti ai lavori, la scrittura scientifica è ormai sempre più chiaramente condizionata dalla tendenza a considerare il contenuto delle comunicazioni del tutto secondario rispetto alla loro collocazione, nella fondata convinzione che nessuno leggerà davvero con occhio critico i prodotti e verificherà dati e fonti raccolte sul campo, perché al limite le pubblicazioni saranno “citate” in automatico sulla base di tema, titolo e abstract. Soprattutto, già alla fine dello scorso anno la relazione di Transparency International sulle forme di corruzione nel mondo della cultura e dell’educazione aveva messo in guardia sulla potenziale gravità di un aggiramento dei controlli di qualità delle ricerche pubblicate, perché tale atteggiamento potrebbe essere tacitamente tollerato, quando non apertamente promosso, da atenei e centri di ricerca la cui sopravvivenza economica dipende in misura rilevante dal posizionamento dei propri ricercatori nelle “classifiche” di produttività editoriale.

Un antidoto a tutto questo non può che consistere nel recupero dello “spirito” originario della peer review, che in fondo non rappresenta altro che l’istituzionalizzazione, in un mondo scientifico e accademico ormai di massa, della tradizionale chiamata in causa da parte dei redattori delle riviste scholarly di lettori di fiducia esperti nei campi specifici degli articoli per la verifica (senza impegno) della loro solidità. I problemi che stanno emergendo, infatti, nascono soprattutto dalla tendenza a dare all’intera procedura di selezione dei prodotti scientifici da pubblicare un andamento eccessivamente automatico e “burocratico”.

Per quanto riguarda le procedure di valutazione del singolo articolo o della singola pubblicazione sempre più spesso la redazione di una rivista, specie se appartenente a un paese “emergente” nei circuiti scientifici internazionali e quindi portata a dare inizio a pratiche di peer review in fretta e furia e senza la necessaria base di esperienza alle spalle, corre dei rischi. Essa, infatti, o si affida pressoché esclusivamente a una cerchia ristretta di lettori, in pratica mettendo nelle loro mani l’intera linea editoriale della pubblicazione, o cade nell’errore opposto, contattando referees con cui non ha rapporti di conoscenza personale neppure superficiale, individuati soltanto tramite le preferenze indicate nelle autocandidature per il ruolo o attraverso i titoli esibiti nei database online di curricula accademici. Volendo indicare una soluzione rozza e “artigianale”, ma solitamente a portata di mano, si può notare che il tanto bistrattato (e spesso mal compreso dagli osservatori esterni) lavoro di lobbying e di pubbliche relazioni che generalmente accompagna le conferenze internazionali, se preso seriamente, dovrebbe servire proprio ad ampliare il bacino di possibili revisori con cognizione di causa.

È però su un piano più ampio che le cose hanno bisogno dello scossone più deciso. La collocazione editoriale dei prodotti scientifici attraverso la loro scrematura con la peer review, infatti, acquisisce il valore che ho illustrato essenzialmente in quanto tassello singolo della più complessa rilevazione dell’impatto intellettuale e professionale attraverso l’aggregazione dei dati misurabili di diffusione di testate e singoli articoli in banche dati. Si tratta di un lavoro informativo essenziale se considerato nella sua natura  originaria, ovvero quello di raccolta e descrizione di informazioni sull’“ecologia” del dibattito scientifico e sulla collocazione dei suoi attori. Sempre più di frequente, però, gli indicatori fondamentali prodotti dai dati grezzi vengono integrati nelle scelte di politica universitaria, tanto di base quanto di vertice, come valori assoluti, spesso senza neppure comprendere appieno il loro processo di composizione, le modalità di selezione delle pubblicazioni inserite e di quelle considerate per le citazioni, e il contesto disciplinare e istituzionale in cui possono essere validi (su questi spunti sono illuminanti le rilevazioni sul ruolo della bibliometria nel research assessment portate avanti dallo Higher Education Funding Council for England, e alcuni commenti che stanno maturando sulla base dei primi risultati). Anche in riferimento ai dati aggregati, insomma, l’idea diffusa sembra quella di rispondere all’espansione del mondo della ricerca scientifica e delle professioni accademiche, e alla conseguente impossibilità degli addetti ai lavori di tenere sotto controllo tutto con la conoscenza personale, ricorrendo a dati “oggettivi” che però, se non trattati con la dovuta attenzione, si rivelano aleatori perché soggetti alle interpretazioni “di comodo” più varie, e diventano in pratica un modo per scaricare su valori numerici preconfezionati scelte di gestione e di attribuzione di fondi e incarichi che evidentemente non si è in grado di fare.

Questo atteggiamento di cieca fiducia nelle statistiche bibliometriche, ormai piuttosto comune a livello internazionale, al punto che l’opinione pubblica specializzata più avveduta sta sviluppando i necessari anticorpi, in Italia non solo ha trovato negli ultimi anni terreno fertile, diventando uno strumento particolarmente à la page per le più tradizionali lotte di potere interne alla comunità scientifica e ai centri decisionali che si confrontano attraverso i suoi esponenti, ma sta espandendo la sua influenza anche al di fuori dello specifico ambito delle carriere universitarie e del sostegno economico a progetti e istituzioni. È della fine di giugno la lettera aperta al presidente del Consiglio, firmata da diversi docenti e ricercatori italiani di discipline economiche, pubblicata  e decisamente sostenuta dalla redazione di Lavoce.info, che contestava la nomina a presidente dell’ISTAT di Giorgio Alleva sulla base della modestia del suo curriculum scientifico secondo i più diffusi criteri di misurazione della qualità. Come ha messo correttamente in evidenza nel caso specifico, seppure con un tono che rivela al fondo un bias opposto nei confronti della bibliometria, un editoriale di ROARS dedicato al caso, nel documento stupiscono sia l’evidente necessità di sostituire espliciti e più che legittimi giudizi di natura politica sulla direzione di un istituto di rilevazione statistica (che peraltro non è un istituto di ricerca) con “la giustizia dei numeri” dell’impact factor, sia soprattutto lo sforzo di “arrangiare” i risultati numerici così da piegarli al proprio scopo, a fronte di un’eccessiva disinvoltura persino nell’uso delle definizioni dei diversi valori aritmetici chiamati in causa.