MIT ના સંશોધકોએ દર્શાવ્યું છે કે AI સમજાવટ (explainability) સાધનો સામાન્ય વપરાશકર્તાઓ માટે નિદાનની ચોકસાઈ વધારે છે પરંતુ અનુભવી ક્લિનિશિયનો માટે અવરોધરૂપ બને છે, જે દર્દીની સુરક્ષા અને હેલ્થ-AI ના ઉપયોગની વિશ્વસનીયતા માટે જોખમ ઊભું કરે છે. તેમણે વિવિધ તબીબી પૃષ્ઠભૂમિ ધરાવતા સહભાગીઓ પર ચામડીના રોગના ક્લાસિફાયરનું પરીક્ષણ કર્યું અને એક મોટો તફાવત જોવા મળ્યો: બિન-નિષ્ણાતોએ તેમના નિર્ણયોમાં સુધારો કર્યો, જ્યારે પ્રાઈમરી-કેર ફિઝિશિયનોને ઘણીવાર "કોગ્નિટિવ ફ્રિક્શન" (જ્ઞાનાત્મક ઘર્ષણ) અનુભવાયું જ્યારે AI નું તર્ક તેમના પોતાના તર્ક સાથે વિરોધાભાસી હતું.

"વન-સાઈઝ-ફિટ્સ-ઓલ" (બધા માટે સમાન) ધારણાને બદલી નાખતો અભ્યાસ

આર્ટિફિશિયલ ઇન્ટેલિજન્સ હવે ઘણા હોસ્પિટલ ઇન્ફોર્મેશન સિસ્ટમ્સમાં કાર્યરત છે, છતાં મોટાભાગના વેન્ડર્સ દરેક વપરાશકર્તાને એક જ પ્રકારનું એક્સપ્લેનેશન ઇન્ટરફેસ આપે છે. MIT ની ટીમે સહભાગીઓને ચામડીના ઘા (skin lesions) નું નિદાન કરવા કહ્યું, પહેલા તેઓ પોતે અને પછી એક AI મોડેલની મદદથી જે વિઝ્યુઅલ હીટમેપ્સ અને લખાણ દ્વારા તર્ક પૂરો પાડતું હતું. તેમણે બે જૂથોની તુલના કરી: ઓછી અથવા બિલકુલ તબીબી તાલીમ ધરાવતા લોકો અને દરરોજ નિદાન કરતા પ્રાઈમરી-કેર ક્લિનિશિયનો.

પરિણામો અલગ હતા. સામાન્ય સહભાગીઓની ચોકસાઈ AI ના આઉટપુટ જોયા પછી વધી ગઈ, પરંતુ આ સુધારો મોટે ભાગે માત્ર મશીનના સૂચનનો સ્વીકાર કરવાને કારણે હતો—જે 'ઓટોમેશન બાયસ' (automation bias) નું એક ક્લાસિક ઉદાહરણ છે. જોકે, ક્લિનિશિયનોમાં સતત સુધારો જોવા મળ્યો નથી. જ્યારે AI ના ખુલાસાઓ અત્યંત સરળ હતા અથવા ક્લિનિકલ તર્ક સાથે સુસંગત નહોતા, ત્યારે ડોક્ટરોએ મૂંઝવણ, વિક્ષેપ અને કેટલાક કિસ્સાઓમાં, નિદાનના આત્મવિશ્વાસમાં ઘટાડો અનુભવવાની જાણ કરી હતી.

નવા નિશાળીયા માટે "ઓટોમેશન બાયસ" નો અર્થ શું છે

બિન-નિષ્ણાતો માટે, AI ના કોન્ફિડન્સ સ્કોર અને હાઇલાઇટ કરેલા વિસ્તારો સાચા જવાબ માટે શોર્ટકટ તરીકે કામ કરે છે. અભ્યાસમાં જાણવા મળ્યું કે આ વપરાશકર્તાઓ મોડેલ પર ત્યારે પણ વિશ્વાસ કરતા હતા જ્યારે ખુલાસો મૂળ રોગવિજ્ઞાન (pathology) વિશે બહુ ઓછી જાણકારી આપતો હતો. આ જોખમ બેવડું છે: દર્દીઓને વિકસતા ક્લિનિશિયનના કૌશલ્યને બદલે મશીનના નિર્ણયના આધારે સારવાર મળે છે, અને વપરાશકર્તાઓ AI દ્વારા દર્શાવવામાં આવતા નિદાનના સંકેતો શીખવાની તક ગુમાવે છે.

સંશોધકો ચેતવણી આપે છે કે જોકે ઉચ્ચ ચોકસાઈ એ તાત્કાલિક વિજય છે, પરંતુ લાંબા ગાળે તેની કિંમત એવી ક્લિનિશિયનોની પેઢી હોઈ શકે છે જેઓ શા માટે તે નિર્ણય લેવાયો તે સમજ્યા વિના 'બ્લેક-બોક્સ' ભલામણો પર નિર્ભર રહે છે. આ નિર્ભરતા વિવેચનાત્મક વિચારસરણી (critical thinking) ને નબળી પાડે છે, જેનાથી મોડેલની ભૂલો અથવા તાલીમ ડેટાની બહારના દુર્લભ કિસ્સાઓને ઓળખવા મુશ્કેલ બને છે.

અનુભવી ક્લિનિશિયનો શા માટે વિરોધ કરે છે

ડોક્ટરો રોગનું એક માનસિક મોડેલ લાવે છે જેમાં દર્દીનો ઇતિહાસ, એપિડેમિયોલોજી (રોગચાળાનું વિજ્ઞાન) અને સૂક્ષ્મ વિઝ્યુઅલ પેટર્નનો સમાવેશ થાય છે. જ્યારે AI ઇન્ટરફેસ માત્ર ઉચ્ચ-સ્તરના સારાંશ અથવા સામાન્ય કોન્ફિડન્સ નંબરો આપે છે, ત્યારે તે તે મોડેલ સાથે અથડાય છે. MIT ના પ્રયોગે દર્શાવ્યું કે ક્લિનિશિયનોને AI ની સલાહનો અર્થપૂર્ણ રીતે ઉપયોગ કરવા માટે ઘણીવાર વધુ વિગતવાર ડેટા—જેમ કે ફીચર એટ્રિબ્યુશન મેપ્સ, તુલનાત્મક સાહિત્યના સંદર્ભો અથવા વિગતવાર પ્રોબેબિલિટી ડિસ્ટ્રિબ્યુશન—ની જરૂર હોય છે.

જ્યારે ખુલાસાઓ અપૂરતા રહ્યા, ત્યારે ફિઝિશિયનોએ "કોગ્નિટિવ ફ્રિક્શન" (જ્ઞાનાત્મક ઘર્ષણ) ની જાણ કરી, જે એક માનસિક અવરોધ છે જે નિર્ણય લેવાની પ્રક્રિયાને ધીમી પાડે છે અને ભૂલની શક્યતા વધારે છે. પ્રાઈમરી કેરમાં, તે ઘર્ષણ લાંબા સમય સુધી ચાલતા કન્સલ્ટેશન, કાર્યક્ષમતામાં ઘટાડો અને સંભવિત રીતે નિદાન ચૂકી જવામાં પરિણમે છે.

તેના પ્રેક્ષકોને ઓળખતું AI ડિઝાઇન કરવું

લેખકો "પર્સના-આધારિત એક્સપ્લેનેબિલિટી" (persona-based explainability) માટે દલીલ કરે છે, જે સ્થિર ડેશબોર્ડ્સથી બદલાઈને એડેપ્ટિવ ઇન્ટરફેસ તરફ જાય છે જે વપરાશકર્તાની કુશળતાના આધારે ઊંડાઈ અને ફોર્મેટને એડજસ્ટ કરે છે. એક વ્યવહારુ અમલીકરણમાં બે અલગ-અલગ સ્તરો હોઈ શકે છે:

  • Layperson layer (સામાન્ય વપરાશકર્તા સ્તર): એક સંક્ષિપ્ત સારાંશ, કોન્ફિડન્સ સ્કોર અને એક સરળ વિઝ્યુઅલ સંકેત (દા.ત., હીટમેપ) જે વપરાશકર્તાને મૂંઝવણમાં મૂક્યા વિના આશ્વાસન આપે છે.
  • Professional layer (વ્યાવસાયિક સ્તર): વિગતવાર હીટમેપ્સ, જથ્થાત્મક ફીચર યોગદાન, પીઅર-રિવ્યુ કરેલા અભ્યાસોની લિંક્સ અને મોડેલની અનિશ્ચિતતાઓમાં ઊંડા ઉતરવાની ક્ષમતા.

ડેવલપર્સને યુઝર-પ્રોફાઇલ ડિટેક્શન મિકેનિઝમ—કદાચ રોલ ટેગ્સ સાથે લોગિન—એમ્બેડ કરવાની જરૂર પડશે અથવા ક્લિનિશિયનોને એક્સપ્લેનેશન મોડ્સ વચ્ચે સ્વિચ કરવાની સુવિધા આપવી પડશે. ધ્યેય ડોક્ટરોથી જટિલતા છુપાવવાનો નથી પરંતુ જ્યારે તે મૂલ્ય ઉમેરે ત્યારે તેને રજૂ કરવાનો છે, જ્યારે જેમને માત્ર માર્ગદર્શનની જરૂર હોય તેમના માટે તેને ન્યૂનતમ રાખવાનો છે.

વિરોધી દલીલો અને વ્યવહારિક અવરોધો

કેટલાક AI વેન્ડર્સ દાવો કરે છે કે એક સમાન ઇન્ટરફેસ તાલીમ ખર્ચ અને નિયમનકારી જટિલતા ઘટાડે છે. એક જ પ્રકારનું એક્સપ્લેનેશન ફોર્મેટ પ્રમાણિત કરવું અને વિવિધ હેલ્થ સિસ્ટમ્સમાં લાગુ કરવું સરળ છે. વધુમાં, ક્લિનિશિયનો પહેલેથી જ એલર્ટ ફેટિગ (alert fatigue) નો સામનો કરી રહ્યા છે; માહિતીનું બીજું સ્તર ઉમેરવાથી તે વધારાના અવાજ (noise) તરીકે ગણાઈ શકે છે.

MIT ના તારણો સૂચવે છે કે "વન-સાઈઝ-ફિટ્સ-ઓલ" અભિગમની કિંમત આ ટૂંકા ગાળાની કાર્યક્ષમતા કરતા વધુ હોઈ શકે છે. જો ક્લિનિશિયનો AI સાધનને નકારશે અથવા તેનો દુરુપયોગ કરશે કારણ કે તેના ખુલાસા અપ્રસ્તુત લાગે છે, તો તેનો સ્વીકાર અટકી જશે, જેનાથી વિકાસ અને એકીકરણમાં થયેલું રોકાણ વેડફાશે.

આગળ શું જોવું

આ અભ્યાસ હેલ્થ-AI હિતધારકો માટે કેટલાક તાત્કાલિક પગલાં સૂચવે છે:

  • હાલના નિદાન સાધનોમાં એડેપ્ટિવ એક્સપ્લેનેશન મોડ્યુલ્સનું પાયલોટ ટેસ્ટિંગ કરો અને વર્કફ્લો તથા ભૂલના દરો પર તેની અસર માપો.
  • પર્સના લોજિકને સુધારવા માટે નવા વપરાશકર્તાઓ (દા.ત., મેડિકલ વિદ્યાર્થીઓ, ટેલી-ટ્રાયજ સ્ટાફ) અને અનુભવી ક્લિનિશિયનો પાસેથી સતત પ્રતિસાદ મેળવો.
  • મલ્ટી-ટાયર્ડ એક્સપ્લેનેબિલિટી માટે ધોરણો વિકસાવો જેને રેગ્યુલેટરી સબમિશનમાં સામેલ કરી શકાય, જેથી સુરક્ષા મૂલ્યાંકનમાં વપરાશકર્તા-વિશિષ્ટ જોખમોનો સમાવેશ થાય તેની ખાતરી કરી શકાય.
  • વપરાશકર્તાઓને ઓટોમેશન બાયસ વિશે શિક્ષિત કરો, અને એ વાત પર ભાર મૂકો કે AI એ નિર્ણય લેવામાં મદદરૂપ સાધન છે, ક્લિનિકલ નિર્ણયશક્તિનો વિકલ્પ નથી.

મુખ્ય સારાંશ

AI નિદાનની કામગીરીમાં સુધારો કરી શકે છે, પરંતુ તે ત્યારે જ શક્ય છે જ્યારે તેની સમજૂતીઓ તે વ્યક્તિની ભાષામાં હોય જે તેને જોઈ રહ્યો છે. નિષ્ણાતતાના તફાવતની અવગણના કરવાથી નવા વપરાશકર્તાઓ વચ્ચે વધુ પડતી નિર્ભરતા વધે છે અને ડોક્ટરો માટે અવરોધો ઊભા કરે છે, જે દર્દીઓના પરિણામો અને હેલ્થ-AI ની વિશ્વસનીયતા બંનેને જોખમમાં મૂકે છે. એડેપ્ટિવ અને પર્સના-અવેર ઇન્ટરફેસ હવે માત્ર એક વધારાની સુવિધા નથી—તે ક્લિનિકલ પ્રેક્ટિસમાં સુરક્ષિત અને અસરકારક AI સંકલન માટે એક પૂર્વશરત છે.