Epic యొక్క సెప్సిస్-అలర్ట్ ఇంజిన్ మిచిగాన్ మెడిసిన్లో 2021లో జరిగిన ధృవీకరణలో విఫలమైంది. ఇది సెప్సిస్ సోకిన మూడింట రెండు వంతుల మంది రోగులను గుర్తించలేకపోయింది, అదే సమయంలో మొత్తం అడ్మిషన్లలో 18% మందికి అనవసరమైన హెచ్చరికలు జారీ చేస్తూనే ఉంది. ఈ తప్పు ఒక క్లాసిక్ డేటా-లీకేజీ లోపం (data-leakage error) వల్ల జరిగింది: ఇన్ఫెక్షన్ ఉందని అనుమానిస్తున్నట్లు సూచించే డాక్టర్ యొక్క యాంటీబయాటిక్ ఆర్డర్ను మోడల్ ఒక ప్రిడిక్టర్గా పరిగణించింది, అంటే క్లినిషియన్ ఇప్పటికే తీసుకున్న నిర్ణయాన్నే ఇది తిరిగి ప్రతిబింబించింది.
మోడల్ ఎందుకు విఫలమైంది
మిచిగాన్ బృందం 38,455 హాస్పిటల్ స్టేలను పరిశీలించింది, ఇది సాధారణంగా బహుళ సంవత్సరాల నాణ్యత-మెరుగుదల ప్రాజెక్ట్ పరిమాణం. Epic యొక్క అంతర్గత బెంచ్మార్క్లు అధిక ఖచ్చితత్వాన్ని వాగ్దానం చేసినప్పటికీ, స్వతంత్ర పరీక్ష దానికి విరుద్ధంగా చూపింది. మోడల్ యొక్క "అధిక-రిస్క్" హెచ్చరికలు దాదాపు ఐదవ వంతు మంది రోగులలో మోత మోగాయి, కానీ నిజమైన సెప్సిస్ కేసులలో మూడింట రెండు వంతులు గమనించకుండానే జారిపోయాయి. ఆచరణలో, ఈ వ్యవస్థ తాను పట్టుకోవాల్సిన సంఘటనలను వదిలేస్తూనే, చాలా తరచుగా "జాగ్రత్త" అని అరుస్తూనే ఉంది.
దీనికి మూల కారణం మెషిన్-లెర్నింగ్ అల్గారిథమ్లో ఉన్న లోపం కాదు, అందులోకి అందించిన డేటా. యాంటీబయాటిక్ ఆర్డర్ ఉండటాన్ని ఇన్పుట్గా ఉపయోగించడం ద్వారా, మోడల్ క్లినిషియన్ ఇప్పటికే తీసుకున్న నిర్ణయాన్ని అంచనా వేయడం నేర్చుకుంది. అల్గారిథమ్ ఒక రోగిని ఫ్లాగ్ చేసినప్పుడు, అది రోగి యొక్క శారీరక స్థితి (physiology) సెప్సిస్ రాబోతోందని సూచించడం వల్ల కాదు, డాక్టర్ ఇప్పటికే యాంటీబయాటిక్స్ను ఆర్డర్ చేయడం వల్ల జరిగింది.
హాస్పిటల్ AIలో ఒక విస్తృతమైన సమస్య
Epic యొక్క సెప్సిస్ మోడల్ సంవత్సరాలుగా వందలాది ఆసుపత్రులలో ఉపయోగించబడుతోంది, అయినప్పటికీ ఈ లీకేజీ లోపం ఒక ప్రత్యేక ధృవీకరణ ప్రయత్నం చేసే వరకు బయటపడలేదు. ఈ సంఘటన ఒక వ్యవస్థాగత బలహీనతను తెలియజేస్తుంది: చాలా ఆరోగ్య వ్యవస్థ AI ప్రాజెక్టులకు ఇటువంటి సమస్యలను ముందుగానే గుర్తించడానికి అవసరమైన ఆపరేషనల్ తనిఖీలు ఉండవు.
- బాహ్య పరీక్షలు లేకపోవడం – ఆసుపత్రులకు ఎటువంటి బాహ్య పరీక్షలు లేవు.
- నిరంతర పర్యవేక్షణ లేకపోవడం – వాటికి ఎటువంటి పర్యవేక్షణ లేదు.
- స్పష్టమైన బాధ్యత లేకపోవడం – డేటా నాణ్యత మరియు మోడల్ పనితీరుకు బాధ్యత వహించే ప్రత్యేక బృందం లేకపోవడం వల్ల, సమస్యలు పరిష్కారం కాకుండా వదిలివేయబడతాయి.
ఈ లోపాల వల్ల అనేక AI కార్యక్రమాలు కేవలం "పైలట్ దశలోనే" (pilot purgatory) ఆగిపోతున్నాయి, అవి ఎప్పటికీ పూర్తిస్థాయి అమలుకు చేరుకోలేకపోతున్నాయి.
విచ్ఛిన్నమైన డేటా వల్ల కలిగే దాగి ఉన్న నష్టం
సెప్సిస్ కేసు విచ్ఛిన్నమైన హెల్త్-IT వ్యవస్థలు AIని ఎలా దెబ్బతీస్తాయో కూడా చూపుతుంది. సాధారణ అడ్డంకులు ఇవి:
- డేటాను స్వయంచాలకంగా మార్పిడి చేయలేని పాత EHR మాడ్యూల్స్లో నిక్షిప్తమై ఉన్న రోగి రికార్డులు.
- ఒకదానితో ఒకటి సంభాషించలేని ఇమేజింగ్ మరియు లాబొరేటరీ వ్యవస్థలు, దీనివల్ల మాన్యువల్ ఫైల్ బదిలీలు చేయాల్సి వస్తుంది.
- ఒకే వ్యక్తి యొక్క డేటాను బహుళ చార్టులుగా విభజించే డూప్లికేట్ పేషెంట్ ఐడెంటిఫైయర్లు.
- మోడల్ శిక్షణ కోసం ఎప్పుడూ విలీనం చేయబడని, విడివిడిగా ఉన్న క్లినికల్ నోట్స్ మరియు వైటల్ సైన్స్.
ఒక మోడల్ను శుభ్రమైన, క్రమబద్ధీకరించబడిన డేటాసెట్పై శిక్షణ ఇచ్చి, ఆ తర్వాత లైవ్ మరియు అస్తవ్యస్తమైన డేటాను అందించినప్పుడు, దాని పనితీరు నిశ్శబ్దంగా క్షీణిస్తుంది. క్లినిషియన్లు త్వరగా నమ్మకాన్ని కోల్పోతారు; బహుళ స్క్రీన్ల ద్వారా హెచ్చరికలను వెతకాల్సి వచ్చే నర్స్, ఆ అల్గారిథమ్ సాంకేతికంగా ఎంత సరైనదైనప్పటికీ, వాటిని పట్టించుకోకుండా వదిలేస్తుంది.
నమ్మదగిన AI కోసం నాలుగు "బోరింగ్" పునాదులు
ఒక ఫంక్షనల్ AI అమలు అనేది వార్తల్లో నిలవని నాలుగు ఆచరణాత్మక సామర్థ్యాలపై ఆధారపడి ఉంటుంది:
- ఇంటర్ఆపరేబిలిటీ (Interoperability) – డేటా అనేది EHRలు, ల్యాబ్లు, ఇమేజింగ్ ప్లాట్ఫారమ్లు మరియు నిర్ణయ మద్దతు సాధనాల (decision-support tools) మధ్య మాన్యువల్ ఎగుమతి-దిగుమతి దశలు లేకుండా ప్రవహించాలి.
- గవర్నెన్స్ (Governance) – డేటా నాణ్యతకు బాధ్యత వహించే ఒక వ్యక్తి లేదా బృందం ఉండాలి మరియు కాలక్రమేణా మోడల్ అవుట్పుట్లను పర్యవేక్షించాలి.
- వర్క్ఫ్లో ఇంటిగ్రేషన్ (Workflow integration) – హెచ్చరికలు క్లినిషియన్ యొక్క ప్రస్తుత వర్క్ క్యూలో (work queue) కనిపించాలి; అదనపు క్లిక్లు లేదా స్క్రీన్లు వాటి వినియోగాన్ని తగ్గిస్తాయి.
- స్కేలబుల్ ఆపరేషన్స్ (Scalable operations) – మోడల్ ఉత్పత్తిలోకి (production) రాకముందే ఆటోమేటెడ్ మానిటరింగ్, అలర్ట్-ఫ్యాటిగ్ అనాలిసిస్ మరియు పీరియాడిక్ రీట్రైనింగ్ పైప్లైన్లు అవసరం.
ఈ దశలలో దేనినైనా వదిలివేస్తే, Epic సెప్సిస్ మోడల్లో చూసినట్లుగా నిశ్శబ్ద వైఫల్యానికి ప్రాజెక్ట్ గురయ్యే అవకాశం ఉంది.
AI సొల్యూషన్ను కొనుగోలు చేసే ముందు అడగవలసిన ప్రశ్నలు
ఆసుపత్రులు స్పష్టమైన సమాధానాలను డిమాండ్ చేయడం ద్వారా ఖరీదైన తప్పులను నివారించవచ్చు:
- మోడల్ ఉపయోగించే ప్రతి వ్యవస్థలో ఒకే రోగి యొక్క డేటాను మీరు ట్రాక్ చేయగలరా?
- డేటా నాణ్యతను నిర్వహించడానికి మరియు మోడల్ పనితీరును పర్యవేక్షించడానికి పేరుతో సహా ఎవరు బాధ్యత వహిస్తారు?
- హెచ్చరికలను కేవలం సాండ్బాక్స్ ఎన్విరాన్మెంట్లో మాత్రమే కాకుండా, క్లినిషియన్లతో వాస్తవ షిఫ్ట్ సమయంలో పరీక్షించారా?
- పనితీరులో వచ్చే మార్పులను (performance drift) ఎలా గుర్తించాలో మరియు పరిష్కరించాలో తెలిపే డాక్యుమెంట్ చేయబడిన పర్యవేక్షణ ప్రణాళిక ఉందా?
వెండర్ ఒక వ్యక్తిని, ఒక ప్రక్రియను లేదా మానిటరింగ్ డ్యాష్బోర్డ్ను చూపించలేకపోతే, సంస్థ ఆ ప్రక్రియను నిలిపివేసి తిరిగి సమీక్షించుకోవాలి.
ముగింపు (The take-away)
Epic సెప్సిస్ మోడల్ మెషిన్ లెర్నింగ్ ఆసుపత్రులకు అనుకూలం కానందున విఫలం కాలేదు; దానికి తోడుగా ఉండాల్సిన డేటా పైప్లైన్ మరియు గవర్నెన్స్ నిర్మాణాలు లేకపోవడం వల్ల అది విఫలమైంది. ఒక డాక్టర్ తీసుకునే నిర్ణయాన్నే ముందుగా ఊహించే మోడల్, అల్గారిథమ్ కంటే డేటా-ఇంజనీరింగ్ లేయర్లోనే మెరుగుదల అవసరమని హెచ్చరిస్తోంది. ఆరోగ్య సంరక్షణ రంగంలో నమ్మదగిన AIని నిర్మించాలంటే, ఏవైనా కీలకమైన IT వ్యవస్థలను నడిపించే అదే "బోరింగ్" మౌలిక సదుపాయాలు అవసరం: శుభ్రమైన, అనుసంధానించబడిన డేటా, స్పష్టమైన జవాబుదారీతనం, వర్క్ఫ్లోలో అంతర్భాగమైన హెచ్చరికలు మరియు ముందస్తు పర్యవేక్షణ. ఇవి లేకపోతే, అత్యంత అధునాతనమైన మోడల్ కూడా తప్పుడు వ్యక్తులకు తప్పుడు హెచ్చరికలను పంపడమే తప్ప ఏమీ చేయలేదు.