AI एजंट्स प्रत्यक्ष वापरात: ट्रेसमधून (Trace) त्रुटींचे वाचन करणे

तुमचा AI एजंट क्रॅश होत नाही. तो यश झाल्याचा अहवाल देतो. पण तुमच्या बँक खात्यात चूक दिसून येते.

ज्या ऑर्डरचे कधीही कॅन्सेलेशन झाले नाही, त्याच ऑर्डरसाठी रिफंड (refund) पाठवला गेला. ग्राहकाकडे वस्तू आणि पैसे दोन्ही आहेत. एजंटला वाटले की त्याने आपले काम पूर्ण केले आहे.

अधिक मोठे मॉडेल वापरण्याचा प्रयत्न करू नका. फक्त 'retry loop' जोडू नका. या दोन्ही गोष्टी केवळ अंदाज आहेत.

त्याऐवजी, ट्रेस (trace) वाचा. एजंटने त्याने काय केले आहे, ते आधीच लिहून ठेवलेले असते.

एक चांगला प्रोडक्शन ट्रेस (production trace) लूपची प्रत्येक पायरी टप्प्याटप्प्याने नोंदवतो. त्यामध्ये खालील गोष्टी दिसणे आवश्यक आहे:

• एजंटने काय निरीक्षण केले
• त्याने काय निर्णय घेतला
• त्याने कोणते tool वापरले
• त्या tool ने काय उत्तर दिले
• source of truth मधून घेतलेले पडताळणी वाचन (verification read)
• अंतिम स्थिती आणि खर्च

सर्वात महत्त्वाचा भाग म्हणजे tool चा प्रतिसाद (tool response) आणि पडताळणी वाचन (verification read) यामधील अंतर. एखादे tool "accepted" असे म्हणू शकते, पण याचा अर्थ असा नाही की प्रत्यक्षात बदल झाला आहे. पडताळणी वाचन तुम्हाला सांगते की तो बदल खरोखर झाला आहे की नाही.

त्रुटी सहसा दोन गटांत विभागल्या जातात:

1. Execution Failures

• Tool failures: चुकीचे arguments किंवा timeouts.
• Reasoning failures: मॉडेलने चुकीची कृती निवडली.
• Control-state failures: एजंट एका खोट्या गोष्टीवर विश्वास ठेवतो. टूलने सांगितले म्हणून एजंटला वाटते की ऑर्डर कॅन्सल झाली आहे, जरी डेटाबेसमध्ये तसे नसेल तरीही.

2. Structural Loop Failures

• Context degradation: एजंट संदर्भाचा धागा गमावून बसतो.
• Loop runaway: एजंट प्रगती न करता पायऱ्यांची पुनरावृत्ती करतो.
• Silent stalls: एजंट कोणत्याही त्रुटीशिवाय अडकून पडतो. अशा वेळी शांततेचा (silence) अर्थ त्रुटी असा मानण्यासाठी तुम्हाला watchdog ची गरज असते.

जेव्हा तुम्हाला एखादी त्रुटी आढळते, तेव्हा फक्त retry करू नका. Retry ही एक रणनीती आहे, निदान (diagnosis) नाही.

• जर ती timeout सारखी तात्पुरती त्रुटी असेल, तर retry करा.
• जर ती logic error असेल, तर retry केल्याने तुमचा बजेट फक्त त्याच अडचणीत पुन्हा अडकण्यासाठी खर्च होईल.
• जर एजंटला एखादा blocker येत असेल, तर थांबून माणसाला कळवा.

त्रुटी सुधारण्याचा सर्वोत्तम मार्ग म्हणजे तिचे रूपांतर एका test मध्ये करणे.

Grader लिहिण्यासाठी ट्रेसचा वापर करा. जर एखादा एजंट कॅन्सेलेशनची पडताळणी करण्यात अपयशी ठरला असेल, तर कन्फर्म कॅन्सेल्ड स्टेटसशिवाय रिफंड झाल्यास फेल होईल अशी test लिहा. ज्या त्रुटींसाठी तुम्ही पैसे मोजले आहेत, त्यांचे रूपांतर अशा त्रुटींमध्ये करा ज्यासाठी तुम्हाला पुन्हा कधीही पैसे मोजावे लागणार नाहीत.

Source: https://dev.to/gursharansingh/ai-agents-in-practice-part-7-when-the-loop-goes-wrong-reading-agent-failures-from-the-trace-5bdp

Optional learning community: https://t.me/GyaanSetuAi