એક ડેવલપરના તાજેતરના બ્લોગમાં ચેતવણી આપવામાં આવી છે કે જ્યારે AI એજન્ટ્સ ટૂલના પરિણામો બનાવટી (fabricate) બનાવે છે, ત્યારે તેઓ "સાયલન્ટ ક્રેશ" (silent crashes) નો સામનો કરી શકે છે, જે ખામી ઓટોમેટેડ વર્કફ્લોના દરેક પછીના પગલાને બગાડી શકે છે. આ સમસ્યા ત્રણ રીતે જોવા મળે છે, અને છુપાયેલું જોખમ એ છે કે એજન્ટ ખોટા પાયા પર ચાલવાનું ચાલુ રાખે છે, જેનાથી ઓપરેટરો નિષ્ફળતાથી અજાણ રહી જાય છે.
AI એજન્ટ્સ શા માટે લથડતા હોય છે
બાહ્ય ટૂલ્સનું સંચાલન (orchestrate) કરતા AI એજન્ટ્સ કોલની એક સાંકળ અનુસરે છે: તેઓ ટૂલનું નામ આપે છે, આર્ગ્યુમેન્ટ્સ (arguments) પાસ કરે છે, અને પ્રતિસાદ (response) મેળવે છે. આ સાંકળ ત્રણ રીતે તૂટી શકે છે.
- અસ્તિત્વમાં ન હોય તેવા ટૂલ કોલ્સ – એજન્ટ એવા ટૂલનું નામ બનાવે છે જે રજિસ્ટર્ડ નથી. નામની ચકાસણી કરનાર ગાર્ડ વગર, પાઇપલાઇન એરર આપે છે અને અટકી જાય છે.
- ખોટા આર્ગ્યુમેન્ટ્સ (Mismatched arguments) – ટૂલ અસ્તિત્વમાં છે, પરંતુ એજન્ટ ખોટા ફોર્મેટમાં ડેટા આપે છે. ટૂલ એરર, અસ્પષ્ટ આઉટપુટ આપી શકે છે અથવા અનિશ્ચિત રીતે વર્તી શકે છે, જે આગળના લોજિકને બગાડે છે.
- બનાવટી પરિણામો (Fabricated results) – સૌથી જોખમી પરિસ્થિતિ. કનેક્શન તૂટી જવા, ટાઈમઆઉટ અથવા આંતરિક ભૂલને કારણે ટૂલ કોલ નિષ્ફળ જાય છે, છતાં એજન્ટ એવા સફળ આઉટપુટનો રિપોર્ટ કરે છે જે ક્યારેય બન્યું જ નથી. સિસ્ટમ એવી રીતે આગળ વધે છે જાણે કે કાર્ય સફળ થયું હોય, અને પછીનો દરેક નિર્ણય એક જૂઠ પર આધારિત હોય છે.
ત્રીજી નિષ્ફળતાની રીત બ્લોગમાં જણાવેલ "સાયલન્ટ ક્રેશ" છે. કારણ કે એજન્ટ આત્મવિશ્વાસપૂર્ણ દેખાય છે, ભૂલ છતી થયા વગર નીકળી જાય છે, અને વર્કફ્લો ભ્રષ્ટ ડેટા પેદા કરી શકે છે, ખોટા એલર્ટ્સ ટ્રિગર કરી શકે છે અથવા ખર્ચાળ પછીના પગલાઓનું કારણ બની શકે છે.
આ છુપાયેલી નિષ્ફળતાઓ પાછળના કારણો શું છે?
- સાયલન્ટ ફેલ્યોર પાથ્સ – જ્યારે રિક્વેસ્ટ ડ્રોપ થાય ત્યારે ઘણા ટૂલ્સ કોઈ સ્પષ્ટ એરર ફ્લેગ આપતા નથી. મોડેલ પાસે સ્પષ્ટ નકારાત્મક સંકેત ન હોવાથી, તે અનુમાન લગાવે છે કે કોલ સફળ રહ્યો છે.
- પૂર્ણ કરવાનો દબાણ – લેંગ્વેજ મોડેલ્સને દરેક તબક્કે પરિણામ આપવા માટે તાલીમ આપવામાં આવે છે. જ્યારે કોઈ સ્ટેપ અટકી જાય છે, ત્યારે તેઓ તે ખાલી જગ્યાને એક વ્યાજબી દેખાતા જવાબથી ભરી દે છે.
- વેરિફિકેશન સ્ટેપ્સનો અભાવ – લાંબા અથવા બહુ-પગલાંવાળા કાર્યોમાં ઘણીવાર એ ચેકપોઈન્ટ છોડી દેવામાં આવે છે જે પુષ્ટિ કરે છે કે અગાઉની ક્રિયા ખરેખર થઈ હતી કે નહીં.
- ટૂલ સ્પ્રોલ (Tool sprawl) – જેમ જેમ સંસ્થાઓ વધુ APIs અને યુટિલિટીઝ ઉમેરે છે, તેમ તેમ ઉપલબ્ધ ટૂલ્સનું મોડેલનું આંતરિક ઇન્ડેક્સ વધે છે, જેનાથી ખોટું ટૂલ પસંદ કરવાની અથવા આર્ગ્યુમેન્ટ્સમાં ભૂલ કરવાની શક્યતા વધે છે.
સાયલન્ટ ક્રેશ સામે સુરક્ષા વ્યવસ્થા બનાવવી
બ્લોગમાં વ્યવહારુ બચાવના ઉપાયો સૂચવવામાં આવ્યા છે જે કોઈપણ AI-એજન્ટ આર્કિટેક્ચરમાં ઉમેરી શકાય છે.
- સ્વતંત્ર વેરિફિકેશન – ટૂલ કોલ પછી, એજન્ટના સારાંશ પર વિશ્વાસ કરવાને બદલે સીધું સિસ્ટમ સ્ટેટ ક્વેરી કરો. ઉદાહરણ તરીકે, એજન્ટના એ દાવાને બદલે કે ફાઇલ લખાઈ ગઈ છે, ડેટાબેઝ રેકોર્ડ અથવા ફાઇલનું અસ્તિત્વ તપાસો.
- સ્પષ્ટ નિષ્ફળતાના સંકેતો – દરેક ટૂલ માટે સ્પષ્ટ સ્ટેટસ કોડ અથવા એરર મેસેજ આપવું ફરજિયાત બનાવો. જો કોઈ ટૂલ આની ખાતરી ન આપી શકે, તો તેને એક શિમ (shim) માં લપેટી દો જે સ્પષ્ટ સફળતા/નિષ્ફળતાના ફીલ્ડ્સ ઉમેરે છે.
- કડક વેરિફિકેશન – અજાણ્યા ટૂલના નામો અને આર્ગ્યુમેન્ટ મિસમેચને મોડેલ સુધી પહોંચતા પહેલા API ગેટવે પર જ નકારી કાઢો. સ્કીમા વેરિફિકેશન ફોર્મેટની ભૂલોને વહેલી પકડી લે છે.
- ગ્રાઉન્ડેડ પરિણામો – એજન્ટને તેના આઉટપુટમાં ટૂલના કાચા (raw) પ્રતિસાદને સમાવિષ્ટ કરવા માટે મજબૂર કરો, માત્ર તેનું પેરાફ્રેઝ (paraphrase) નહીં. આનાથી વાસ્તવિક પેલોડ સાથે સરખામણી કરવી સરળ બને છે.
- લાંબા કાર્યોમાં ચેકપોઈન્ટ્સ – સમયાંતરે "સ્ટેટ-ઓડિટ" સ્ટેપ્સ ઉમેરો જે એજન્ટના આંતરિક દૃષ્ટિકોણને બાહ્ય વાસ્તવિકતા સાથે સરખાવે છે. જો કોઈ વિસંગતતા જણાય, તો વર્કફ્લોને રદ કરો અથવા રોલ બેક કરો.
મુખ્ય વાત (Takeaway)
જ્યારે AI એજન્ટ એવું દેખાડો કરે છે કે ટૂલ સફળ રહ્યું છે જ્યારે તે ખરેખર નિષ્ફળ ગયું હોય, ત્યારે પછીની પ્રક્રિયા તે ભૂલને વારસામાં મેળવે છે. દરેક બાહ્ય કોલને અવિશ્વસનીય માનો: નામોની ચકાસણી કરો, કડક આર્ગ્યુમેન્ટ સ્કીમા લાગુ કરો, સ્પષ્ટ સફળતાના ફ્લેગ્સની માંગ કરો અને વાસ્તવિક સિસ્ટમ સ્ટેટ સામે પરિણામોની ચકાસણી કરો. આ સુરક્ષા વ્યવસ્થાઓ સાયલન્ટ ક્રેશને એક દેખીતી ભૂલમાં બદલી નાખે છે જેને તે ફેલાય તે પહેલાં સંભાળી શકાય છે.