Epic चे सेप्सिस-अलर्ट इंजिन मिशिगन मेडिसिनमधील २०२१ च्या व्हॅलिडेशनमध्ये (validation) अपयशी ठरले. यामध्ये सेप्सिसचा धोका असलेल्या रुग्णांपैकी दोन-तृतीयांश रुग्णांना हे इंजिन ओळखू शकले नाही, तर एकूण प्रवेशांपैकी १८% वेळा हे इंजिन विनाकारण अलार्म वाजवत होते. ही चूक एका क्लासिक 'डेटा-लीकेज' (data-leakage) त्रुटीमुळे झाली: मॉडेलने डॉक्टरांनी दिलेल्या अँटीबायोटिक ऑर्डरला—जो आधीच संसर्ग संशयास्पद असल्याचे लक्षण आहे—एक प्रेडिक्टर (predictor) म्हणून गणले, ज्यामुळे प्रत्यक्षात क्लिनिशियनने आधीच घेतलेल्या निर्णयाचीच पुनरावृत्ती झाली.
मॉडेल का अपयशी ठरले
मिशिगनच्या टीमने ३८,४५५ हॉस्पिटल स्टे (hospital stays) तपासले, जे एका सामान्य बहु-वर्षीय गुणवत्ता-सुधारणा प्रकल्पाच्या आकाराचे आहेत. Epic च्या अंतर्गत बेंचमार्कने उच्च अचूकतेचे आश्वासन दिले होते, परंतु स्वतंत्र चाचणीने याच्या उलट निकाल दाखवले. मॉडेलने जवळपास पाचवा एक रुग्णामध्ये "उच्च-जोखीम" (high-risk) अलर्ट्स दिले, तरीही सेप्सिसच्या खऱ्या प्रकरणांपैकी दोन-तृतीयांश प्रकरणे लक्षात न येता सुटली. व्यवहारात, हे सिस्टम ज्या घटना पकडण्यासाठी बनवले होते, त्या सुटत असतानाच वारंवार "सावध राहा" असे ओरडत होते.
याचे मूळ कारण मशीन-लर्निंग अल्गोरिदममधील त्रुटी नसून त्यात फीड केलेला डेटा होता. अँटीबायोटिक ऑर्डरची उपस्थिती इनपुट म्हणून वापरल्यामुळे, मॉडेलने क्लिनिशियनने आधीच घेतलेल्या निर्णयाचा अंदाज लावण्यास शिकले. जेव्हा अल्गोरिदमने एखाद्या रुग्णाला फ्लॅग केले, तेव्हा ते बहुतेक वेळा डॉक्टरने आधीच अँटीबायोटिक्स ऑर्डर केल्यामुळे होते, रुग्णाची शारीरिक स्थिती सेप्सिसकडे झुकत असल्यामुळे नाही.
हॉस्पिटल AI मधील एक व्यापक समस्या
Epic चे सेप्सिस मॉडेल अनेक वर्षांपासून शेकडो रुग्णालयांमध्ये तैनात करण्यात आले आहे, तरीही ही लीकेज त्रुटी एका केंद्रित व्हॅलिडेशन प्रयत्नामुळे समोर येईपर्यंत लपलेली होती. ही घटना एक प्रणालीगत कमकुवतपणा दर्शवते: बहुतेक हेल्थ-सिस्टम AI प्रकल्पांमध्ये अशा समस्या लवकर शोधण्यासाठी आवश्यक असलेल्या ऑपरेशनल चेकचा (operational checks) अभाव असतो.
- बाह्य चाचणीचा अभाव – रुग्णालयांकडे कोणतीही बाह्य चाचणी नव्हती.
- सतत देखरेखीचा अभाव – त्यांच्याकडे देखरेख (monitoring) नव्हती.
- स्पष्ट मालकी हक्काचा अभाव – डेटा गुणवत्ता आणि मॉडेल कामगिरीसाठी जबाबदार असलेल्या नियुक्त टीमशिवाय, समस्यांकडे दुर्लक्ष होते.
या त्रुटींमुळे अनेक AI उपक्रम "पायलट पर्गेटरी" (pilot purgatory - पायलट टप्प्यात अडकलेली स्थिती) मध्ये अडकून पडतात, जे कधीही प्रूफ-ऑफ-कॉन्सेप्ट (proof-of-concept) टप्प्यापलीकडे जाऊ शकत नाहीत.
विखुरलेल्या डेटाचा छुपा खर्च
सेप्सिसचे हे प्रकरण हे देखील दर्शवते की विखुरलेले हेल्थ-आयटी इकोसिस्टम्स (health-IT ecosystems) AI ला कशा प्रकारे बाधित करतात. सामान्य अडथळ्यांमध्ये खालील गोष्टींचा समावेश होतो:
- रुग्णांचे रेकॉर्ड्स जुन्या EHR मॉड्यूल्समध्ये लॉक केलेले असतात जे डेटा आपोआप एक्सचेंज करत नाहीत.
- इमेजिंग आणि लॅबोरेटरी सिस्टम एकमेकांशी संवाद साधू शकत नाहीत, ज्यामुळे मॅन्युअल फाईल ट्रान्सफर करावे लागतात.
- रुग्णांचे दुप्पट आयडेंटिफायर्स (duplicate patient identifiers) ज्यामुळे एकाच व्यक्तीचा डेटा अनेक चार्ट्समध्ये विभागला जातो.
- क्लिनिकल नोट्स आणि व्हायटल साईन (vital signs) वेगवेगळ्या सिलोजमध्ये साठवले जातात, जे मॉडेल ट्रेनिंगसाठी कधीही एकत्रित केले जात नाहीत.
जेव्हा एखादे मॉडेल स्वच्छ आणि सुव्यवस्थित डेटासेटवर प्रशिक्षित केले जाते परंतु नंतर प्रत्यक्ष, विखुरलेला (messy) डेटा दिले जाते, तेव्हा त्याची कामगिरी गुपचूप खालावते. क्लिनिशियन्सचा विश्वास लवकर उडतो; ज्या नर्सला अनेक स्क्रीन्सवर अलर्ट्स शोधण्यासाठी धावपळ करावी लागते, ती त्यांना दुर्लक्षित करेल, मग त्यामागील अल्गोरिदम तांत्रिकदृष्ट्या कितीही अचूक असला तरीही.
विश्वसनीय AI साठी चार "साधी पण महत्त्वाची" आधारभूत तत्त्वे
एक कार्यक्षम AI उपयोजन चार व्यावहारिक क्षमतांवर अवलंबून असते ज्यांच्याबद्दल क्वचितच बातम्या येतात:
- इंटरऑपरेबिलिटी (Interoperability) – डेटा EHRs, लॅब्स, इमेजिंग प्लॅटफॉर्म्स आणि डिसिजन-सपोर्ट टूल्समध्ये मॅन्युअल एक्सपोर्ट-इंपोर्ट स्टेप्सशिवाय प्रवाहित झाला पाहिजे.
- गव्हर्नन्स (Governance) – डेटा गुणवत्ता आणि मॉडेल आउटपुटवर काळाच्या ओघात लक्ष ठेवण्यासाठी एक जबाबदार व्यक्ती किंवा टीम असणे आवश्यक आहे.
- वर्कफ्लो इंटिग्रेशन (Workflow integration) – अलर्ट्स क्लिनिशियनच्या सध्याच्या वर्क क्यू (work queue) मध्ये दिसणे आवश्यक आहे; अतिरिक्त क्लिक्स किंवा स्क्रीन्समुळे त्याचा स्वीकार कमी होतो.
- स्केलेबल ऑपरेशन्स (Scalable operations) – मॉडेल प्रत्यक्ष वापरात येण्यापूर्वी ऑटोमेटेड मॉनिटरिंग, अलर्ट-फॅटीग अनालिसिस आणि वेळोवेळी रिट्रेनिंग पाइपलाइन्स असणे आवश्यक आहे.
यापैकी कोणतीही पायरी वगळल्यास प्रकल्प Epic सेप्सिस मॉडेलमध्ये दिसल्यासारख्या शांत अपयसाला (silent failure) बळी पडू शकतो.
AI सोल्यूशन खरेदी करण्यापूर्वी विचारण्याचे प्रश्न
रुग्णालये ठोस उत्तरे मागून खर्चिक चुका टाळू शकतात:
- मॉडेल वापरत असलेल्या प्रत्येक सिस्टममध्ये तुम्ही एका रुग्णाचा डेटा ट्रॅक करू शकता का?
- डेटा गुणवत्ता राखण्यासाठी आणि मॉडेल कामगिरीवर देखरेख ठेवण्यासाठी नावाप्रमाणे कोण जबाबदार आहे?
- केवळ सँडबॉक्स एन्व्हायरमेंटमध्ये (sandbox environment) नाही, तर प्रत्यक्ष शिफ्ट दरम्यान क्लिनिशियन्ससोबत अलर्ट्सची चाचणी केली आहे का?
- परफॉर्मन्स ड्रिफ्ट (performance drift) कसा ओळखला आणि सोडवला जाईल हे स्पष्ट करणारी दस्तऐवजीकृत मॉनिटरिंग योजना आहे का?
जर विक्रेता एखादी व्यक्ती, प्रक्रिया किंवा मॉनिटरिंग डॅशबोर्ड दाखवू शकला नाही, तर संस्थेने थांबून पुनर्मूल्यांकन केले पाहिजे.
निष्कर्ष (The take-away)
Epic सेप्सिस मॉडेल अपयशी झाले कारण मशीन लर्निंग रुग्णालयांसाठी अयोग्य आहे, असे नाही; तर ते अपयशी झाले कारण त्याभोवतीची डेटा पाइपलाइन आणि गव्हर्नन्स संरचना उपलब्ध नव्हती. डॉक्टरांच्या स्वतःच्या निर्णयाचाच अंदाज वर्तवणारे मॉडेल हे सूचित करते की, अल्गोरिदमपेक्षा डेटा-इंजिनिअरिंग लेयरमध्ये सुधारणा करण्याची गरज आहे. आरोग्य सेवेमध्ये विश्वासार्ह AI विकसित करण्यासाठी त्याच "कंटाळवाण्या" (boring) पायाभूत सुविधांची आवश्यकता असते, ज्या कोणत्याही महत्त्वपूर्ण IT प्रणालीला कार्यान्वित ठेवतात: स्वच्छ आणि एकमेकांशी जोडलेला डेटा, स्पष्ट उत्तरदायित्व, वर्कफ्लोमध्ये समाविष्ट केलेले अलर्ट्स आणि प्रोअॅक्टिव्ह मॉनिटरिंग. या गोष्टींशिवाय, सर्वात प्रगत मॉडेल देखील चुकीच्या लोकांना चुकीच्या चेतावण्या देत राहील.