Il motore di allerta per la sepsi di Epic ha fallito una validazione nel 2021 presso la Michigan Medicine, mancando due terzi dei pazienti che in seguito hanno sviluppato sepsi, pur facendo scattare un allarme per il 18% di tutti i ricoveri. L'errore risale a un classico problema di data leakage: il modello contava la prescrizione di antibiotici di un medico — già un segno che si sospetta un'infezione — come un predittore, riecheggiando essenzialmente una decisione che il clinico aveva già preso.

Perché il modello è fallito

Il team del Michigan ha esaminato 38.455 degenze ospedaliere, la dimensione tipica di un progetto pluriennale di miglioramento della qualità. I benchmark interni di Epic promettevano un'elevata precisione, ma il test indipendente ha mostrato l'opposto. Gli avvisi di "alto rischio" del modello sono scattati in quasi un quinto dei pazienti, eppure due terzi dei veri casi di sepsi sono passati inosservati. In pratica, il sistema gridava "attenzione" troppo spesso, mancando proprio gli eventi che avrebbe dovuto intercettare.

La causa principale non era un difetto dell'algoritmo di machine learning in sé, ma dei dati che vi venivano forniti. Utilizzando la presenza di una prescrizione di antibiotici come input, il modello ha imparato a prevedere una scelta già presa dal clinico. Quando l'algoritmo segnalava un paziente, spesso lo faceva perché il medico aveva già prescritto antibiotici, non perché la fisiologia del paziente indicasse una sepsi imminente.

Un problema più ampio nell'IA ospedaliera

Il modello di sepsi di Epic è stato implementato in centinaia di ospedali per anni, eppure l'errore di leakage è rimasto nascosto finché un mirato sforzo di validazione non lo ha fatto emergere. L'episodio illustra una debolezza sistemica: la maggior parte dei progetti di IA nei sistemi sanitari manca dei controlli operativi necessari per individuare tempestivamente tali problemi.

  • Nessun test esterno – Gli ospedali non disponevano di test esterni.
  • Nessun monitoraggio continuo – Non disponevano di monitoraggio.
  • Nessuna chiara responsabilità – Senza un team designato responsabile della qualità dei dati e delle prestazioni del modello, i problemi passano inosservati.

Queste lacune mantengono molte iniziative di IA bloccate nel "purgatorio dei progetti pilota", senza mai superare la fase di prova di concetto (proof-of-concept).

Il costo nascosto dei dati frammentati

Il caso della sepsi mostra anche come

Il modello di sepsi di Epic non è fallito perché il machine learning sia inadatto agli ospedali; è fallito perché mancavano le pipeline di dati e le strutture di governance circostanti. Un modello che predice la decisione dello stesso medico segnala che è lo strato di data engineering, e non l'algoritmo, ad aver bisogno di interventi. Costruire un'IA affidabile nel settore sanitario richiede la stessa infrastruttura "noiosa" che garantisce il funzionamento di qualsiasi sistema IT critico: dati puliti e connessi, una chiara responsabilità, avvisi integrati nei flussi di lavoro e un monitoraggio proattivo. Senza questi elementi, anche il modello più sofisticato finirà per lanciare avvisi errati alle persone sbagliate.