Debolezza metodologica degli studi su cui si basano i modelli di machine learning per supportare le decisioni cliniche

“Perché quasi tutti i modelli di machine learning applicati alla medicina sono errati – e cosa serve per sviluppare un’IA medica basata sull’evidenza scientifica”. Un titolo forte, che fa riflettere e forse anche preoccupare, quello dell’articolo pubblicato sull’International Journal of Medical Informatics da un gruppo di esperti guidati da Federico Cabitza, professore di interazione uomo-macchina all’Università di Milano-Bicocca e direttore del centro Digital Health della Fondazione Bruno Kessler (FBK) di Trento.

Gli autori dell’articolo fanno il punto sui modelli di intelligenza artificiale (IA) oggi sempre più diffusi, progettati per aiutare i medici a prendere le decisioni legate a terapie e cure. “Negli ultimi dieci anni, sono stati sviluppati migliaia di modelli di machine learning (ML) per supportare il processo decisionale in ambito medico” scrivono gli autori, ricordando che molti di questi studi sono stati pubblicati su riviste scientifiche di alto impatto, spesso accompagnati da affermazioni riguardanti un’accuratezza senza precedenti e una potenziale utilità clinica.

Secondo Cabitza e colleghi, però, questi modelli sono ben lontani dall’essere strumenti perfetti sui quali fare affidamento nella pratica clinica quotidiana, e il problema principale si nasconde proprio nella debolezza metodologica di molti degli studi che hanno portato al loro sviluppo.

Come scrivono gli autori, “il problema non riguarda semplicemente una questione di trasferimento alla pratica clinica, regolamentazione o infrastruttura, ma risiede nel cuore stesso dell’attuale processo di sviluppo del ML, che si basa su presupposti metodologici che raramente trovano riscontro nel contesto medico”. Di conseguenza, molti dei modelli ML per la medicina sono metodologicamente fragili e la loro applicazione clinica non è affidabile.

In un’intervista con Univadis Italia, Cabitza ha spiegato quali sono gli errori più frequenti che portano a sovrastimare il valore clinico di questi modelli di ML. “Il primo errore è trattare i dati clinici come se fossero più oggettivi e puliti di quanto siano realmente. In medicina le diagnosi, le misure e persino le immagini non sono mai completamente indipendenti dal contesto in cui sono prodotte e interpretate” ha detto.

Un altro errore, secondo l’esperto, consiste nel valutare i modelli con metriche molto eleganti dal punto di vista statistico, ma non sempre informative dal punto di vista clinico. “Dire che un modello ha un’area sotto la curva (area under the curve, AUC) elevata, per esempio, non basta. Bisogna sapere come si comporta nei casi in cui il medico deve davvero decidere, con quali soglie, con quali pazienti e con quali conseguenze.

Infine, ma certo non meno importante, c’è il rischio di confondere una buona prestazione su un dataset con una prova di utilità clinica. “Un modello può funzionare bene nei dati su cui è stato sviluppato e molto meno bene in un altro ospedale, in un’altra popolazione o dopo qualche anno” ha ricordato Cabitza, spiegando che la comunità medica dovrebbe leggere molti risultati pubblicati non come prove definitive, ma come evidenze preliminari. “Un modello promettente non è ancora un dispositivo clinicamente affidabile: è un candidato che deve superare prove indipendenti, robuste e possibilmente prospettiche” ha affermato.

In questo scenario, uno dei problemi principali riguarda la definizione e la determinazione della cosiddetta ground truth, la verità di riferimento, ovvero i dati sui quali si basa tutto lo sviluppo dei modelli di ML per la medicina.

Cabitza sottolinea che questo non è un problema completamente nuovo. “Ogni volta che una nuova tecnologia promette di produrre grandi quantità di dati, emerge lo stesso rischio: pensare che più dati significhi automaticamente più efficacia e conoscenza” ha detto a Univadis Italia. “Purtroppo non è così. I dati diventano conoscenza e abilitano interventi efficaci e appropriati solo se sappiamo come sono stati prodotti, con quali distorsioni sistematiche (bias) e con quale grado di incertezza” ha precisato.

I dati disponibili sono eterogenei, raccolti per finalità assistenziali o amministrative e non per addestrare algoritmi, e questo aspetto non può passare in secondo piano. Nel caso dell’IA medica, ha spiegato l’esperto, costruire dataset affidabili non significa cercare un’accuratezza impossibile, sebbene spesso si assuma che sia così. Significa documentare meglio il processo di produzione dei dati di addestramento; distinguere chiaramente tra dati raccolti per uso primario – la cura – e quelli raccolti per ricerca e sviluppo; usare quanti più esperti annotatori possibile; misurare il disaccordo tra esperti e non nasconderlo, anzi valorizzarlo, ad esempio con tecniche di addestramento dette prospettivistiche.

“Se due medici non sono sempre d’accordo, questa non è solo una seccatura da eliminare: è un’informazione clinica importante, che indica casi potenzialmente ambigui o molto complessi” ha commentato. “La medicina reale è fatta così. Il punto non è costruire dataset perfetti, ma trasparenti, controllabili e adatti alla domanda clinica che i medici ritengono centrale nel loro lavoro”.

Nella parte finale dell’articolo, Cabitza e colleghi fanno un appello anche alle riviste scientifiche, chiedendo di assumere una maggiore responsabilità metodologica.

“Credo che alcuni requisiti per la pubblicazione di un modello dovrebbero diventare molto più stringenti, non necessariamente identici per ogni tipo di articolo: uno studio puramente metodologico non è la stessa cosa di uno studio che suggerisce un impiego clinico. Ma se un lavoro sostiene che un modello possa essere utile nella pratica medica, allora deve essere valutato con criteri proporzionati a quella promessa, con lo stesso rigore che pretendiamo per farmaci e trattamenti” ha commentato Cabitza per Univadis Italia.

L’esperto ha spiegato che si tratta di distinguere meglio tra ricerca esplorativa, ricerca metodologica e vera evidenza clinica. Il rischio è che oggi questi piani si confondano, sotto la spinta a pubblicare quanti più articoli possibile per rispondere a piatti incentivi quantitativi. “Una rivista scientifica non dovrebbe premiare solo lo studio con il modello dalle prestazioni più elevate, ma la qualità del processo che ha prodotto quel risultato” ha concluso.

Uno sguardo all’Italia

Come si pone l’Italia nei confronti dell’adozione di questi strumenti di supporto alle decisioni in medicina? Come ha spiegato Cabitza, nel nostro paese l’AI in sanità è presente in alcuni contesti, ma purtroppo in modo ancora troppo disomogeneo e siamo ancora lontani da un uso diffuso, maturo e uniformemente valutato nel Servizio Sanitario Nazionale (SSN).

Tra gli ostacoli principali, l’esperto indiviua la frammentazione dei dati e la parziale interoperabilità tra i sistemi, le differenze tra Regioni e aziende sanitarie, la qualità non uniforme delle cartelle cliniche, la difficoltà di accesso ai dati per finalità di ricerca e validazione (dovuta anche a una interpretazione eccessivamente vincolante dei regolamenti) e una separazione ancora molto ampia tra chi produce i sistemi e chi poi dovrebbe usarli nella pratica, che non è solo di natura tecnica, ma anche culturale. “Mancano figure professionali che possano fare da collegamento e ponte tra saperi diversi” ha precisato, ricordando che l’Italia però ha anche opportunità importanti.

Il SSN ha infatti una grande ricchezza di dati e una tradizione clinica forte; esistono reti ospedaliere, IRCCS, università, centri di ricerca e infrastrutture digitali in sviluppo. Gli investimenti in sanità digitale sono aumentati e il Fascicolo Sanitario Elettronico 2.0 è entrato in una fase più operativa, anche se restano differenze territoriali e problemi attuativi. “Questo fa ben sperare, ma il percorso sembra ancora lungo. Per produrre evidenze forti servono dataset multicentrici, standard condivisi, protocolli di validazione esterna, programmi di monitoraggio longitudinale e una collaborazione molto più stretta tra clinici, data scientist, aziende sanitarie, istituzioni e pazienti, che sia finanziata adeguatamente” ha concluso.

Cabitza F, Jurman G, Molinari F, Bellazzi R. Why almost all ML models for medicine are wrong-and what we need for evidence-based medical AI. Int J Med Inform. 2026 Jun 11;219:106538. doi: 10.1016/j.ijmedinf.2026.106538. Epub ahead of print. PMID: 42308951.