AI एजंटमधील सर्वात कठीण भाग म्हणजे 'अनहॅपी पाथ' (Unhappy Path)

बहुतेक AI एजंट डेमोमध्ये एक आदर्श परिस्थिती दाखवली जाते. एक स्पष्ट प्रश्न आणि त्याचे अचूक उत्तर. सर्वजण टाळ्या वाजवतात.

खरी इंजिनीअरिंग तेव्हा घडते जेव्हा गोष्टी बिघडतात.

जेव्हा एखादी API बंद पडते तेव्हा काय होते? जेव्हा एखादा एजंट सतत लूपमध्ये अडकून पडतो आणि तुमच्या क्रेडिट कार्डमधील पैसे संपवून टाकतो तेव्हा काय होते? जेव्हा एजंटकडे डेटा नसतो पण तरीही तो असा रिपोर्ट लिहितो जो अगदी खरा वाटतो, तेव्हा काय होते?

जीनोमिक्समधील (genomics) या समस्या सोडवण्यासाठी मी BioAgent तयार केले आहे. हे एक स्वायत्त (autonomous) विश्लेषक आहे जे डेटा गोळा करते, PubMed वर शोध घेते आणि क्लिनिकल रिपोर्ट्स लिहिते.

हे तयार करण्यासाठी मी LangGraph आणि Claude वापरले. अपयशासाठी (failure) सिस्टीम तयार करण्याबाबत मी काय शिकलो, ते खालीलप्रमाणे आहे.

  • प्रत्येक लूपला मर्यादा द्या (Bound every loop) एजंटसाठी एक 'हार्ड रिट्राय लिमिट' (hard retry limit) असणे आवश्यक आहे. जर तुमचा एजंट सशुल्क (paid) APIs वापरत असेल, तर लूपमध्ये अडकणे हा एक आर्थिक धोका आहे. मर्यादा तेव्हाच काम करते जेव्हा तुम्ही प्रत्येक टप्प्यावर काउंटर (counter) वाढवता. जर तुम्ही कोडची ती एक ओळ विसरलात, तर सिस्टीम क्रॅश होईपर्यंत एजंट लूपमध्येच राहील.

  • यशाचे नाही, तर अपयशाचे परीक्षण करा (Test the failure, not the success) डेव्हलपमेंट दरम्यान 'हॅपी पाथ' (happy path) नेहमीच काम करतो. टेस्टिंग दरम्यान तुम्हाला तुमच्या डिपेंडन्सीजना (dependencies) मुद्दाम फेल करावे लागेल. जेव्हा एखादी API ऑफलाइन असते, तेव्हा एजंट लूपमध्ये अडकण्याऐवजी व्यवस्थित (gracefully) काम थांबवेल किंवा कमी कार्यक्षम होईल, याची खात्री देणारे टेस्ट केसेस लिहा.

  • आत्मविश्वासाने दिलेली चुकीची माहिती रोखा (Prevent confident nonsense) सर्वात मोठा धोका सिस्टीम क्रॅश होण्याचा नाही. खरा धोका म्हणजे असा रिपोर्ट जो व्यावसायिक वाटतो पण त्यात बनावट डेटा असतो. 'हॅलुसिनेशन' (hallucinations) थांबवण्यासाठी केवळ प्रॉम्प्ट सूचनांवर अवलंबून राहू नका. एजंटने कधीही स्वतःहून मेट्रिक्स (metrics) तयार करू नयेत, याची खात्री करण्यासाठी टेस्ट्सचा वापर करा.

  • तुमचे निकाल तथ्यांवर आधारित ठेवा (Ground your results) रिट्रिव्हल (Retrieval) तेव्हाच उपयुक्त ठरते जेव्हा मजकूर लेखकापर्यंत पोहोचतो. मला असे आढळले की पूर्ण अ‍ॅबस्ट्रॅक्ट्सऐवजी (abstracts) फक्त IDs पाठवल्यामुळे मॉडेलने स्वतःहून संबंध जोडण्यास सुरुवात केली. रिपोर्ट तथ्यांवर आधारित राहील याची खात्री करण्यासाठी तुम्हाला मॉडेलला प्रत्यक्ष मजकूर पाठवावा लागेल.

प्रॉम्प्टमधील नियम ही एक आशा आहे. टेस्टमधील नियम ही एक खात्री आहे.

'अनहॅपी पाथ'साठी सिस्टीम तयार करा. कारण प्रत्यक्षात तोच भाग महत्त्वाचा असतो.

Source: https://dev.to/gbadedata/the-hardest-part-of-an-autonomous-ai-agent-is-the-unhappy-path-3p2c

Optional learning community: https://t.me/GyaanSetuAi