I principali media scientifici si alleano contro il metodo più usato nel mondo per valutare le ricerche e i ricercatori. I direttori di riviste e società autorevoli come Nature, Science, Public Library of Science, National Academies of Science e European Molecular Biology Organization hanno pubblicato un articolo-manifesto per spiegare che l’Impact Factor («fattore di impatto»), l’indice che a livello internazionale misura la qualità della ricerca, non ha alcun valore reale. L’inusuale presa di posizione è stata pubblicata il 5 luglio sul sito www.biorxiv.org e ha fatto parecchio rumore nel dibattito internazionale. In Italia, invece, se ne è parlato poco. E forse non è un caso, come vedremo.

Il metodo di valutazione sotto accusa si basa sulle referenze bibliografiche contenuti in ogni articolo scientifico: in poche parole, se una ricerca viene citata da molte altre ricerche è considerata rilevante. L’Impact Factor di una rivista scientifica è la media del numero di citazioni ricevute dagli articoli da essa pubblicati in un certo periodo di tempo, sulla base di una vastissima banca dati di proprietà del colosso dell’informazione anglo-canadese Thomson Reuters. Una semplice cifra, che sintetizza la qualità complessiva di una rivista scientifica. Un Impact Factor superiore a 5 rappresenta un ottimo valore. Le riviste più scadenti annaspano poco sopra lo zero. Nature e Science, le reginette del club, hanno un Impact Factor superiore a 30. Questi numeri, però, sono medie degne dei polli di Trilussa. Secondo i dati presentati nell’articolo su biorxiv.org, gli Impact Factor sono determinati da una piccola percentuale di ricerche molto citate, mentre la maggior parte degli articoli, anche sulle riviste più autorevoli, ottengono pochissime citazioni. Basta allora un pugno di articoli e un po’ di marketing per far impennare l’indice.

Dato che proviene dai primi della classe, la presa di posizione rappresenta un vero ammutinamento. Come se Steven Spielberg girasse un documentario per spiegare che il premio Oscar non vale niente. Per la verità, il malcontento contro l’Impact Factor circola da tempo nei laboratori. Sempre più ricercatori si lamentano per l’abuso di questi parametri quantitativi, adottati non solo per giudicare le riviste ma anche quando si tratta di assegnare finanziamenti o carriere. Secondo i critici, le citazioni contano ormai più dei contenuti. Le ricerche più popolari mettono in secondo piano quelle più coraggiose ma meno conosciute, e la stessa fine fanno i ricercatori. Riducendo tutto a un semplice numero, infine, si crea l’illusione che scienziati e ricerche in campi diversi possano essere misurati con un unico metro in maniera oggettiva.

Già nel 2012 un nutrito gruppo di editori accademici del settore biologico aveva firmato a San Francisco una Dichiarazione sulla Valutazione della Ricerca (http://www.ascb.org/dora/) contro l’utilizzo dei criteri bibliometrici nella valutazione della ricerca. Altre iniziative come il manifesto di Leida o il rapporto inglese Metric Tide (marea metrica, alla lettera) hanno sollevato obiezioni simili. Peraltro, la comunità scientifica sta dibattendo a 360° sui metodi di valutazione della ricerca: troppe ricerche si rivelano inaffidabili, la scarsità dei fondi trasforma i bandi di concorso in vere e proprie lotterie e l’accessibilità dell’informazione scientifica, anche a scopo di verifica, è una questione sempre più decisiva per la credibilità del sistema.

La presa di posizione odierna, però, rappresenta un salto di qualità, per il prestigio delle firme ma anche per il tempismo. Essa infatti è giunta proprio negli stessi giorni in cui Thomson Reuters firmava un accordo per la vendita dell’Impact Factor, della relativa banca dati e del resto della divisione Scienza e Proprietà intellettuale a due fondi di investimento statunitensi per ben tre miliardi e mezzo di dollari. L’affare verrà perfezionato nei prossimi mesi e certamente l’attacco non aiuterà la trattativa.

In tanto trambusto, colpisce l’immobilismo dell’Agenzia Nazionale per la Valutazione del Sistema Universitario e della Ricerca (Anvur). Con la riforma Gelmini ha avuto l’incarico di attribuire un’abilitazione nazionale ai giovani ricercatori, senza la quale non possono essere assunti dalle università. Per giudicarli, l’Anvur applica solo metodi bibliometrici come l’Impact Factor, ormai internazionalmente screditati.
«L’Anvur è l’unica agenzia al mondo ad utilizzarli in modo esclusivo», sostiene il fisico romano Francesco Sylos-Labini, tra i fondatori del magazine online Roars (www.roars.it) dedicato all’analisi delle politiche della ricerca. «Probabilmente il governo non si fidava del giudizio soggettivo dei baroni, ma così ha ottenuto il risultato di deresponsabilizzarli ulteriormente».

Nonostante critiche e boicottaggi, l’Anvur non cambia le regole. Anche in futuro, i commissari di valutazione non dovranno nemmeno leggere gli articoli scientifici dei candidati, a differenza di quanto avviene negli altri Paesi. «Come se in un concorso enologico i sommelier non assaggiassero il vino», ha scritto su Roars Alberto Baccini, economista all’Università di Siena. Se neanche all’Anvur qualcuno ha alzato il gomito, la sbornia italiana per la bibliometria è ancora più inspiegabile.