La scienza? Non ammette repliche

L’ultimo numero della rivista scientifica Nature lancia l’allarme sulla riproducibilità delle scoperte scientifiche. La rivista, la più letta nei laboratori di tutto il mondo, ha pubblicato un sondaggio tra i suoi lettori che denuncia un problema sempre più grave: molti risultati scientifici pubblicati anche dalle maggiori riviste, quando vengono verificati da altri scienziati, vengono smentiti.

Si tratta di risultati privi della necessaria riproducibilità, ciò che distingue un semplice dato empirico da un fatto scientifico. Il 70% dei ricercatori che hanno risposto al sondaggio ha dichiarato di non essere riuscito a replicare con successo esperimenti realizzati e pubblicati da colleghi, e il 90% di loro ritiene che nella comunità scientifica vi sia una «crisi» sul piano della riproducibilità.

Il sondaggio, a sua volta, non ha nulla di scientifico in quanto si limita a registrare le opinioni dei lettori, un campione nient’affatto rappresentativo. Oltre la metà delle risposte, ad esempio, proviene da settori «sensibili» come biologia e medicina. Tuttavia, il problema esiste ed era già emerso in altre occasioni.

Nel 2015, un team internazionale aveva tentato di replicare 100 esperimenti pubblicati sulle riviste di psicologia più prestigiose, con un tasso di successo pari al 40% dei casi.

Nel 2012, anche i ricercatori della Amgen, una società farmaceutica che setaccia le ricerche pubblicate alla ricerca di risultati promettenti verso lo sviluppo di nuovi farmaci, si erano lamentati: su 53 ricerche «interessanti», solo in sei casi i risultati erano stati confermati in laboratorio.

In uno studio analogo, alla tedesca Bayer era andata un po’ meglio – una conferma su quattro. Le stime più ottimistiche valutano come replicabili il 50% delle ricerche pubblicate. In ogni caso, il problema esiste e coinvolge studi di grande rilevanza: possibili farmaci dal presunto effetto positivo contro il morbo di Alzheimer, ricerche oncologiche effettuate su cellule contaminate o la scoperta di proteine che (non) svolgono un ruolo importante nelle malattie neurodegenerative.

Da oltre vent’anni, e su basi statistiche molto più solide, la questione è denunciata e analizzata da John P. Ioannidis dell’Università di Stanford (California), oggi il maggior esperto a livello mondiale sull’affidabilità delle scoperte scientifiche. Le cause della «crisi» sono numerose, secondo lo scienziato greco-americano. Le frodi scientifiche vere e proprie rappresentano una minoranza dei casi. Ma non è una buona notizia, perché pone sotto accusa le prassi consolidate della comunità scientifica e riguarda anche i ricercatori più rispettati.

L’uso disinvolto della statistica, invece, è uno dei principali e più diffusi colpevoli.

L’analisi dei dati può trasformare piccole variazioni casuali in risultati eclatanti. L’effetto è maggiore in discipline, come la medicina, in cui gli esperimenti coinvolgono campioni statistici relativamente piccoli. Le risposte al sondaggio accusano anche la fretta di pubblicare grandi quantità di articoli scientifici, a discapito della qualità. Si tratta di un effetto collaterale dei criteri di valutazione che oggi vanno per la maggiore, in base ai quali carriere e finanziamenti sono distribuiti soprattutto sulla base del volume delle pubblicazioni dei gruppi di ricerca.

Secondo Ioannidis, anche i frequenti conflitti di interesse influenzano negativamente la qualità delle ricerche pubblicate e incoraggiano una «selezione» dei dati a disposizione (è la prima causa dell’irriproducibilità secondo il campione di Nature). Quando una ricerca è finanziata da una società farmaceutica, ad esempio, il ricercatore incaricato può essere spinto a confermare le aspettative del committente nel misurare l’efficacia di un farmaco che deve essere posto in commercio. La pubblicazione di risultati negativi, invece, è un evento raro e costituisce un antidoto debole contro il dilagare della scienza irriproducibile.

Per affrontare il problema, i mezzi messi in campo dalla comunità scientifica appaiono insufficienti. Recentemente i National Institutes of Health statunitensi hanno emesso delle linee guida per i propri ricercatori, incoraggiando i propri ricercatori a divulgare i dati di laboratorio «grezzi» su cui basano le loro analisi e le riviste scientifiche ad adottare standard di controllo più efficaci.

Il filtro operato dalle riviste (la «peer review», il parere di due o tre esperti che decidono della pubblicazione di una ricerca) è insufficiente, a fronte di una mole di lavori da valutare che raddoppia ogni 10-15 anni. Ma criteri diversi, come una valutazione aperta a tutti anche dopo la pubblicazione delle ricerche, costringerebbe gli editori a rivedere le proprie regole in materia di copyright, un redditizio business controllato da pochi (quattro) big a livello mondiale.

Visto che la comunità scientifica fatica a riformarsi, c’è chi pensa di subappaltare la valutazione all’esterno. La società privata statunitense «Science Exchange», ad esempio, fornisce un servizio di verifica esterna delle ricerche, rilasciando una certificazione di riproducibilità, in diversi settori della ricerca biomedica. Science Exchange è sostenuto da fondi di investimento, che a loro volta finanziano altre società del settore biomedico. Quindi è ancora più esposto ai rischi di conflitto di interesse. Anche in questo caso, l’outsourcing non è la soluzione.