Come valutare i modelli predittivi?

Nei mesi scorsi, i modelli che cercavano di predire lo sviluppo della diffusione del nuovo coronavirus hanno goduto di fortune alterne. Uno dei motivi che rendono complicato stabilire quanto siano stati affidabili è che, quando i modelli vengono ascoltati, hanno delle conseguenze immediate – per esempio inducendo i governi a modificare le proprie politiche – e quindi le loro previsioni non si verificano.

La percezione che ne deriva è che il modello si sia sbagliato. Tipicamente, la sensazione è che esso fosse eccessivamente “catastrofico”, e che quindi le misure intraprese per evitare le sue previsioni siano state eccessivamente dure. Pensiamo ai vari lockdown attuati per limitare la diffusione dei contagi di COVID-19, o alle misure a favore dell’ambiente che si stanno adottando per scongiurare le previsioni sull’emergenza climatica.

Ne ha scritto qualche giorno fa l’LSE Impact Blog, chiedendosi “come i modelli cambiano il mondo, e cosa dovremmo fare in proposito”. L’articolo cita il “famigerato” Report 9, pubblicato da un team guidato dall’epidemiologo Neil Ferguson il 16 marzo 2020, che si è rivelato fondamentale nel guidare la risposta del Regno Unito alla pandemia. Il rapporto prevedeva che il servizio sanitario inglese sarebbe collassato nel giro di poche settimane se non si fossero prese misure drastiche. Nei giorni successivi alla pubblicazione, il governo britannico annunciò un improvviso cambio di rotta rispetto agli sprezzanti annunci iniziali, mettendo in atto una serie di restrizioni e abbandonando la strategia della “mitigazione” a favore del tentativo di sopprimere la diffusione virale.

Le previsioni del modello matematico alla base dei dati citati nel report apparvero eccessivamente pessimistiche e furono oggetto di un intenso dibattito. Persino Ferguson ammette che la proiezione più estrema – 500mila morti nel Regno Unito se non si fosse fatto nulla – non era “veramente destinata ad accadere”. Vuol dire che qualcosa è andato storto con la modellazione? La risposta a questa domanda, spiega Lucie White nel blog, è più complicata di quanto sembri, perché i modelli possono cambiare proprio le cose che cercano di prevedere.

Confrontare il numero di morti e di ricoveri che il modello ipotizza nel caso di una una diffusione virale incontrollata con le morti e i ricoveri reali ignora il fatto che siano state messe in atto misure di mitigazione. I modelli peraltro comprendono questo fattore nelle proiezioni: il Report 9 presentava infatti una serie di scenari relativi a diverse combinazioni di politiche di contenimento.

Ma i risultati dei modelli hanno anche un’influenza sul comportamento individuale, in modi che vanno oltre le politiche implementate a livello statale. Prendiamo il caso, per esempio, di una regola che limiti gli incontri a un massimo di due persone. Ci sono molti modi di rispettare questa regola: incontrando un amico diverso ogni sera, o incontrandosi con un paio di persone in tutto. Il fatto che le persone decidano di andare oltre la lettera della regola, limitando i contatti a un piccolo gruppo di persone, dipenderà dalla loro percezione del rischio derivato dalla pandemia. Ciò dipenderà a sua volta dai dati contenuti nei modelli predittivi, specialmente se molto pubblicizzati e accompagnati da rappresentazioni grafiche efficaci.

Il modello usato nel Report 9, per esempio, è molto sensibile al modo in cui viene applicata la regola del distanziamento fisico, e questo è proprio uno dei parametri che più dipendono dai comportamenti individuali, a loro volta molto difficili da prevedere.

Come uscire da questo circolo vizioso? La proposta degli scienziati è di cambiare il modo in cui si valutano i modelli predittivi. Invece di guardare solo a quanto precisi sono nel prevedere certi risultati, forse possono essere valutati anche alla luce di quanto siano stati efficaci nel guidare la risposta pubblica e politica a una minaccia.

Per capire la logica di questo approccio, White suggerisce di pensare a quando un medico dice a un suo paziente che morirà entro dieci anni se non smette di bere e fumare. Questa previsione potrebbe aiutare il paziente a cambiare le sue abitudini e prolungare quindi la sua vita. In quel caso non ce la prenderemmo con il medico se non fosse in grado di dirci esattamente quando il paziente sarebbe morto se non avesse cambiato i suoi comportamenti. Allo stesso modo, la capacità di allontanarci da esiti indesiderati può essere una qualità dei modelli, anche quando la loro capacità di influire sul contesto diminuisce l’accuratezza delle previsioni.

Naturalmente bisogna stare molto attenti: l’obiettivo non è progettare i modelli sulla base di ciò che si vuole fare accadere – anche perché si potrebbe non essere d’accordo su quali risultati siano desiderabili. I modelli sono strumenti che mirano a dirci qualcosa sul mondo, e questa loro funzione cruciale non andrebbe intaccata. La loro efficacia pratica, secondo White, non dovrebbe ispirare la progettazione dei modelli, ma si può ipotizzare un momento in cui, dopo che i modelli sono stati progettati e implementati, li si possa valutare anche in base agli effetti che hanno avuto sul mondo, e se questi effetti sono stati desiderabili oppure no.

(Foto di KOBU Agency su Unsplash)