Se nel campo giornalistico è ormai piuttosto popolare la pratica del factchecking, in quello scientifico si sta diffondendo invece lo statchecking. Entrambe le pratiche puntano allo stesso obiettivo: verificare che i dati, le fonti e i fatti riportati in un certo contesto siano veri e precisi. Lo statchecking però lavora in maniera un po’ diversa dal factchecking, e ha come obiettivo assicurarsi che i dati contenuti nelle numerose ricerche scientifiche che ogni giorno vengono pubblicate sulle riviste specializzate siano autentici e corretti. A dare una forte accelerazione a questa pratica negli ultimi anni è stato un anestesista inglese, John Carlisle, che da solo ha fatto in modo che centinaia di articoli fossero ritirati o corretti, per errori o truffe nei dati contenuti. Il suo lavoro di “data checker par-time” ha aiutato a togliere di mezzo alcuni falsificatori seriali. Nella classifica degli scienziati che hanno avuto più articoli ritirati, tre dei primi sei sono stati scoperti grazie a sistemi di analisi dei dati ripresi dal metodo di Carlisle. Come si può intuire, lo statchecking ha forse un impatto ancora più forte del factchecking giornalistico. Entrambi sono attività molto importanti e alle quali è giusto dedicare tempo e sforzi. Nel caso però degli studi scientifici stiamo parlando delle basi su cui si costruiscono linee guida da adottare in sala operatoria, pareri su dieta e alimentazione, raccomandazioni per pazienti e medici, ecc. Arrivare a fare correggere o ritirare uno o più articoli scientifici può influire direttamente sulla vita e la salute delle persone.

Il percorso di Carlisle

Come spiegato in un articolo su Nature, Carlisle ha cominciato a indagare nel suo settore di lavoro, quello dell’anestesia, per poi allargare le proprie ricerche anche ad altri ambiti della medicina. Nel 2012 ha dimostrato che i dati contenuti in uno studio del ricercatore giapponese Yoshitaka Fujii, sull’effetto di alcuni farmaci nel prevenire vomito e nausea a seguito di interventi chirurgici presentavano delle anomalie. Sono seguite delle indagini per verificare la correttezza dei metodi di Fujii e si è visto che Carlisle aveva ragione. Non solo il paper in questione è stato ritirato, ma anche tutti i precedenti pubblicati dall’autore, che resta il leader indiscusso della classifica riportata più su, con 183 articoli ritirati. Nel 2017 Carlisle ha pubblicato un paper in cui riportava di avere trovato 90 casi di dati sospetti su un totale di oltre 5mila studi analizzati nel corso di 16 anni. Almeno dieci di questi sono stati ritirati.

Il metodo

Ciò che Carlisle fa non è niente di particolarmente nuovo. Semplicemente cerca di identificare se i pattern che si presentano nei dati di uno studio sono paragonabili a quelli che si rilevano nella realtà, o se invece si tratta di dati artificiali che cercano di riprodurre pattern “realistici”. Un fenomeno che era già stato individuato alla fine del 1800 e reso popolare nei decenni successivi tra gli statistici. L’idea quindi non è di puntare il dito contro un certo studio o un certo autore, accusandolo di frode. Si tratta piuttosto di individuare pattern e inusuali nei dati e segnalarli, affinché qualcuno faccia un controllo più approfondito. Non è un metodo infallibile, e per questo è stato anche criticato da alcuni colleghi. Carlisle è consapevole di questo, come del fatto che a seconda del tipo di studio e di variabili potrebbero verificarsi dei falsi positivi. Ma lo ritiene comunque un buon primo passo verso la verifica della correttezza dei dati. Probabilmente ha ragione, visto che molti editori lo consultano per aiutarli a identificare casi sospetti. Inoltre, quello di Carlisle non è l’unico metodo conosciuto. Altri ricercatori stanno provando a sviluppare dei modelli che siano in grado di automatizzare parte del lavoro di analisi dei dati, ma i loro sistemi hanno ancora grossi limiti operativi.

(Foto di Chris Liverani su Unsplash)

Con questo articolo ZeroNegativo sospende le pubblicazioni per la pausa estiva. Il prossimo post sarà pubblicato lunedì 19 agosto. Buona estate da parte della redazione e di Avis Legnano!