Epic નું Sepsis-alert એન્જિન Michigan Medicine માં ૨૦૨૧ના વેરિફિકેશનમાં નિષ્ફળ ગયું, જેમાં તે એવા બે-તૃતીયાંશ દર્દીઓને ઓળખી શક્યું નહીં જેમને પાછળથી સેપ્સિસ થયો હતો, જ્યારે તે તમામ એડમિશનના ૧૮% માટે એલાર્મ વગાડતું હતું. આ ભૂલ એક ક્લાસિક ડેટા-લીકેજ (data-leakage) ભૂલ તરફ નિર્દેશ કરે છે: મોડેલે ડોક્ટરના એન્ટિબાયોટિક ઓર્ડરને—જે પહેલેથી જ ચેપની શંકા હોવાનો સંકેત છે—એક પ્રિડિક્ટર તરીકે ગણ્યું, જે મૂળભૂત રીતે ક્લિનિશિયન દ્વારા પહેલેથી જ લેવામાં આવેલા નિર્ણયનું પુનરાવર્તન હતું.
મોડેલ કેમ નિષ્ફળ ગયું
Michigan ની ટીમે ૩૮,૪૫૫ હોસ્પિટલ સ્ટે (hospital stays) ની તપાસ કરી, જે સામાન્ય રીતે બહુ-વર્ષીય ક્વોલિટી-ઇમ્પ્રૂવમેન્ટ પ્રોજેક્ટનું કદ છે. Epic ના આંતરિક બેન્ચમાર્ક ઉચ્ચ ચોકસાઈનું વચન આપતા હતા, પરંતુ સ્વતંત્ર પરીક્ષણે તેનાથી વિપરીત પરિણામ બતાવ્યું. મોડેલના "high-risk" એલર્ટ્સ લગભગ પાંચમાં ભાગના દર્દીઓમાં વાગ્યા હતા, છતાં સાચા સેપ્સિસ કેસોના બે-તૃતીયાંશ ભાગને ધ્યાન બહાર રહી ગયા હતા. વ્યવહારમાં, સિસ્ટમ જે ઘટનાઓને પકડવા માટે બનાવવામાં આવી હતી તેને ચૂકી જતી હતી અને જરૂર કરતાં ઘણી વધારે વાર "સાવધ રહો" તરીકે બૂમો પાડતી હતી.
મૂળ કારણ મશીન-લર્નિંગ અલ્ગોરિધમમાં કોઈ ખામી નહોતી પરંતુ તેમાં આપવામાં આવેલ ડેટામાં હતી. એન્ટિબાયોટિક ઓર્ડરની હાજરીનો ઇનપુટ તરીકે ઉપયોગ કરીને, મોડેલે ક્લિનિશિયન દ્વારા પહેલેથી જ લેવામાં આવેલા નિર્ણયની આગાહી કરવાનું શીખી લીધું હતું. જ્યારે અલ્ગોરિધમે દર્દીને ફ્લેગ કર્યો, ત્યારે તે ઘણીવાર એટલા માટે હતો કારણ કે ડોક્ટરે પહેલેથી જ એન્ટિબાયોટિક્સનો ઓર્ડર આપ્યો હતો, નહીં કે દર્દીની શારીરિક સ્થિતિ સેપ્સિસ આવવાની સંકેત આપતી હતી.
હોસ્પિટલ AI માં એક વ્યાપક સમસ્યા
Epic નું સેપ્સિસ મોડેલ વર્ષોથી સેંકડો હોસ્પિટલોમાં તૈનાત કરવામાં આવ્યું છે, છતાં લીકેજ ભૂલ ત્યાં સુધી છુપાયેલી રહી જ્યાં સુધી એક ફોકસ વેરિફિકેશન પ્રયાસ તેને બહાર ન લાવ્યો. આ ઘટના એક પ્રણાલીગત નબળાઈ દર્શાવે છે: મોટાભાગના હેલ્થ-સિસ્ટમ AI પ્રોજેક્ટ્સમાં આવી સમસ્યાઓને વહેલી પકડવા માટે જરૂરી ઓપરેશનલ ચેક્સનો અભાવ હોય છે.
- કોઈ બાહ્ય પરીક્ષણ નથી – હોસ્પિટલો પાસે કોઈ બાહ્ય પરીક્ષણ નહોતું.
- કોઈ સતત મોનિટરિંગ નથી – તેમની પાસે કોઈ મોનિટરિંગ નહોતું.
- કોઈ સ્પષ્ટ માલિકી નથી – ડેટા ક્વોલિટી અને મોડેલ પરફોર્મન્સ માટે જવાબદાર કોઈ નિયુક્ત ટીમ વિના, સમસ્યાઓ ધ્યાનમાં લેવાયા વગર રહી જાય છે.
આ ખામીઓ ઘણી AI પહેલોને "પાયલોટ પર્ગેટરી" (pilot purgatory) માં ફસાવી રાખે છે, જે ક્યારેય પ્રૂફ-ઓફ-કન્સેપ્ટ સ્ટેજથી આગળ વધી શકતી નથી.
વિખરાયેલા ડેટાની છુપી કિંમત
સેપ્સિસનો કિસ્સો એ પણ દર્શાવે છે કે કેવી રીતે વિખરાયેલા હેલ્થ-IT ઇકોસિસ્ટમ્સ AI ને નુકસાન પહોંચાડે છે. સામાન્ય અવરોધોમાં શામેલ છે:
- પેશન્ટ રેકોર્ડ્સ જૂના (legacy) EHR મોડ્યુલ્સમાં લોક થયેલા છે જે ડેટા આપમેળે બદલી શકતા નથી.
- ઇમેજિંગ અને લેબોરેટરી સિસ્ટમ્સ જે એકબીજા સાથે વાત કરી શકતી નથી, જેના કારણે મેન્યુઅલ ફાઇલ ટ્રાન્સફર કરવું પડે છે.
- ડુપ્લીકેટ પેશન્ટ આઈડેન્ટિફાયર્સ જે એક જ વ્યક્તિના ડેટાને અનેક ચાર્ટ્સમાં વિભાજિત કરે છે.
- ક્લિનિકલ નોટ્સ અને વાઇટલ સાઇન્સ અલગ અલગ સાઇલોમાં સંગ્રહિત છે, જે મોડેલ ટ્રેનિંગ માટે ક્યારેય ભેગા કરવામાં આવતા નથી.
જ્યારે મોડેલને સ્વચ્છ, ક્યુરેટેડ ડેટાસેટ પર તાલીમ આપવામાં આવે છે પરંતુ પછી તેને લાઈવ, અસ્તવ્યસ્ત ડેટા આપવામાં આવે છે, ત્યારે તેની કામગીરી શાંતિથી ઘટી જાય છે. ક્લિનિશિયન્સ ઝડપથી વિશ્વાસ ગુમાવે છે; જે નર્સને અનેક સ્ક્રીન પર એલર્ટ્સ શોધવા પડે છે તે તેમને અવગણશે, ભલે તેની પાછળનો અલ્ગોરિધમ ટેકનિકલી સચોટ હોય.
વિશ્વસનીય AI માટે ચાર "બોરિંગ" પાયા
એક કાર્યક્ષમ AI તૈનાત ચાર વ્યવહારુ ક્ષમતાઓ પર આધારિત છે જે ભાગ્યે જ હેડલાઇન્સમાં આવે છે:
- ઇન્ટરઓપરેબિલિટી (Interoperability) – ડેટા મેન્યુઅલ એક્સપોર્ટ-ઇમ્પોર્ટ સ્ટેપ્સ વગર EHRs, લેબ્સ, ઇમેજિંગ પ્લેટફોર્મ્સ અને ડિસિઝન-સપોર્ટ ટૂલ્સ વચ્ચે વહેવો જોઈએ.
- ગવર્નન્સ (Governance) – એક જવાબદાર વ્યક્તિ અથવા ટીમે ડેટા ક્વોલિટીની માલિકી લેવી જોઈએ અને સમય જતાં મોડેલ આઉટપુટનું મોનિટરિંગ કરવું જોઈએ.
- વર્કફ્લો ઇન્ટિગ્રેશન (Workflow integration) – એલર્ટ્સ ક્લિનિશિયનના હાલના વર્ક ક્યુ (work queue) માં દેખાવવા જોઈએ; વધારાના ક્લિક્સ અથવા સ્ક્રીન્સ તેનો સ્વીકાર ઘટાડે છે.
- સ્કેલેબલ ઓપરેશન્સ (Scalable operations) – મોડેલ પ્રોડક્શનમાં પહોંચે તે પહેલાં ઓટોમેટેડ મોનિટરિંગ, એલર્ટ-ફેટિગ એનાલિસિસ અને પિરિયોડિક રીટ્રેનિંગ પાઇપલાઇન્સ આવશ્યક છે.
આમાંથી કોઈપણ સ્ટેપ છોડવાથી પ્રોજેક્ટ Epic સેપ્સિસ મોડેલમાં જોવા મળેલી પ્રકારની શાંત નિષ્ફળતા માટે સંવેદનશીલ બની જાય છે.
AI સોલ્યુશન ખરીદતા પહેલા પૂછવા જેવા પ્રશ્નો
હોસ્પિટલો નક્કર જવાબો માંગીને ખર્ચાળ ભૂલો ટાળી શકે છે:
- શું તમે મોડેલ ઉપયોગ કરશે તે દરેક સિસ્ટમમાં એક જ દર્દીના ડેટાને ટ્રેસ કરી શકો છો?
- ડેટા ક્વોલિટી જાળવવા અને મોડેલ પરફોર્મન્સની દેખરેખ રાખવા માટે વ્યક્તિગત રીતે કોણ જવાબદાર છે?
- શું એલર્ટ્સનું પરીક્ષણ માત્ર સેન્ડબોક્સ એન્વાયરમેન્ટમાં જ નહીં, પરંતુ વાસ્તવિક શિફ્ટ દરમિયાન ક્લિનિશિયન્સ સાથે કરવામાં આવ્યું છે?
- શું ત્યાં દસ્તાવેજીકૃત મોનિટરિંગ પ્લાન છે જે સ્પષ્ટ કરે છે કે પરફોર્મન્સ ડ્રિફ્ટ (performance drift) કેવી રીતે ઓળખવામાં આવશે અને તેને કેવી રીતે ઉકેલવામાં આવશે?
જો વેન્ડર કોઈ વ્યક્તિ, પ્રક્રિયા અથવા મોનિટરિંગ ડેશબોર્ડ તરફ નિર્દેશ ન કરી શકે, તો સંસ્થાએ થોભવું જોઈએ અને પુનઃમૂલ્યાંકન કરવું જોઈએ.
મુખ્ય વાત (The take-away)
Epic સેપ્સિસ મોડેલ એટલા માટે નિષ્ફળ નહોતું ગયું કે મશીન લર્નિંગ હોસ્પિટલો માટે અયોગ્ય છે; તે એટલા માટે નિષ્ફળ ગયું કારણ કે તેની આસપાસનું ડેટા પાઇપલાઇન અને ગવર્નન્સ માળખું ગેરહાજર હતું. ડોક્ટરના પોતાના નિર્ણયની જ આગાહી કરતું મોડેલ એ ચેતવણી આપે છે કે અલ્ગોરિધમ નહીં, પરંતુ ડેટા-એન્જિનિયરિંગ લેયર પર કામ કરવાની જરૂર છે. હેલ્થકેરમાં વિશ્વસનીય AI બનાવવા માટે એ જ "બોરિંગ" ઇન્ફ્રાસ્ટ્રક્ચરની જરૂર છે જે કોઈપણ મહત્વપૂર્ણ IT સિસ્ટમને ચલાવી રાખે છે: સ્વચ્છ, જોડાયેલ ડેટા, સ્પષ્ટ જવાબદારી, વર્કફ્લોમાં સમાવિષ્ટ એલર્ટ્સ અને સક્રિય મોનિટરિંગ. તેના વગર, સૌથી અત્યાધુનિક મોડેલ પણ અંતે ખોટી વ્યક્તિઓને ખોટી ચેતવણીઓ આપશે.