𝗕𝗼𝘂𝗻𝗱𝗲𝗱 𝗥𝗲𝘁𝗿𝗶𝗲𝘀 𝗙𝗼𝗿 𝗔𝗴𝗲𝗻𝘁 𝗧𝗼𝗼𝗹 𝗖𝗮𝗹𝗹𝘀
आमच्या एजंटमुळे झालेली सर्वात वाईट घटना चुकीचे उत्तर देणे ही नव्हती. ती एक 'लूप' (loop) होती.
एक टूल कॉल फेल झाला. एजंटने पुन्हा प्रयत्न केला. तो प्रयत्न पुन्हा फेल झाला. एजंट सतत प्रयत्न करत राहिला. यामुळे टोकन्स खर्च झाले आणि एका मिनिटात आमच्या API वर शेकडो वेळा हिट्स झाल्या.
एजंटने तेच केले जे आम्ही त्याला करण्यास सांगितले होते. जर एखादे टूल फेल झाले तर पुन्हा प्रयत्न करा, असे आम्ही त्याला सांगितले होते. पण कधी थांबायचे, हे सांगायला आम्ही विसरलो.
तात्पुरत्या त्रुटींसाठी (temporary errors) रिट्रायज चांगले असतात. समस्या अशी आहे की एजंट तात्पुरती त्रुटी आणि कायमस्वरूपी त्रुटी यातील फरक ओळखू शकत नाही. मर्यादांशिवाय, एखादा एजंट एखादा दोषपूर्ण कॉल जोपर्यंत काहीतरी थांबवत नाही तोपर्यंत पुन्हा पुन्हा प्रयत्न करत राहतो.
पारंपारिक कोडमध्ये रिट्राय लिमिट्स (retry limits) वापरले जातात. एजंट टूल कॉल्सनी हा निर्णय मॉडेलच्या तर्कामध्ये (model reasoning) हलवला. यामुळे हा लूप अदृश्य आणि अमर्यादित झाला.
आम्ही मॉडेलच्या बाहेर दोन बजेट्स जोडून ही समस्या सोडवली:
• प्रति-कॉल कॅप (Per-call cap): एका विशिष्ट टूलला प्रयत्नांची एक निश्चित संख्या दिली जाते. जर ते फेल झाले, तर एजंटला दुसरा मार्ग अवलंबणे आवश्यक आहे. • प्रति-सेशन बजेट (Per-session budget): संपूर्ण कार्यासाठी एकूण टूल कॉल्सची एक मर्यादा असते. जर एजंटने ही मर्यादा ओलांडली, तर तो थांबतो आणि मदत मागतो.
मर्यादा स्वतः उपाय नाही. मर्यादा संपल्यानंतर काय होते, हे महत्त्वाचे आहे.
जर तुम्ही फक्त थांबलात, तर एजंट अडकून पडतो. त्याऐवजी, आम्ही एजंटला एक स्पष्ट संदेश देतो. आम्ही त्याला सांगतो की कॉल फेल झाला आहे आणि त्याने पुन्हा प्रयत्न करू नये. यामुळे लूपचे रूपांतर एका निर्णयामध्ये होते. सहसा, त्यानंतर एजंट एक नवीन दृष्टीकोन निवडतो.
आम्ही हे जोडल्यापासून, टूल-गैरवापराचे लूप्स जवळजवळ नाहीसे झाले आहेत. जेव्हा ते घडतात, तेव्हा ते मोठ्या API बिलांऐवजी व्यवस्थितपणे हाताळले जातात (escalate cleanly).
योग्य मर्यादा शोधणे कठीण आहे. खूप कडक मर्यादा लांबच्या कामांना अडवते. तर खूप सैल मर्यादा महागडे लूप्स तयार होऊ देते. आम्ही आमच्या मर्यादा ९५ व्या पर्सेंटाईल (95th percentile) टास्क लांबीवर आधारित सेट केल्या आहेत.
ही बजेट्स सेट करण्याचा तुमच्याकडे काही चांगला मार्ग आहे का? मला कमेंट्समध्ये नक्की सांगा.
Optional learning community: https://t.me/GyaanSetuAi