AI एजेंट्स का कठिन हिस्सा काम करना नहीं, बल्कि योजना बनाना है

कार्य करने वाला AI एजेंट बनाना आसान है। लेकिन सही ढंग से योजना बनाने वाला एजेंट बनाना कठिन है।

मैंने एक CLI बनाया है जहाँ आप एक वाक्य टाइप करते हैं और एक LLM आपके वास्तविक खातों (accounts) पर क्रियाएं (actions) करता है। मैं दो मोड का उपयोग करता हूँ: Direct mode और Plan mode।

Direct mode गति के लिए है। Plan mode सुरक्षा के लिए है। Plan mode में, एजेंट आपके डेटा को छूने से पहले आपको हर कदम दिखाता है।

यहाँ बताया गया है कि मैंने एक विश्वसनीय प्लानर (planner) कैसे बनाया:

• दिमाग को विभाजित करें (Split the brain) एक ही एजेंट योजना बनाने (planning) और निष्पादन (execution) दोनों काम नहीं कर सकता। एक प्लानिंग एजेंट सोचना चाहता है। एक एक्जीक्यूशन एजेंट कार्य करना चाहता है। मैंने उन्हें दो अलग-अलग सिस्टम प्रॉम्प्ट्स के साथ दो अलग-अलग एजेंटों में विभाजित कर दिया। इससे वे एक-दूसरे के काम में बाधा नहीं डालते।

• एजेंट को आँखें दें (Give the agent eyes) अनुमान लगाने वाला प्लानर खतरनाक होता है। मेरा पहला वर्ज़न धारणाओं (assumptions) के आधार पर योजनाएं बनाता था। अब, प्लानर पहले आपके डेटा पर शोध करने के लिए read-only टूल्स का उपयोग करता है। एक भी कदम लिखने से पहले यह आपके वास्तविक Salesforce फील्ड्स को देखता है।

• उत्तरों को पहले से भरें (Prefill the answers) एजेंट अक्सर गलत सवाल पूछते हैं। यदि वे बहुत अधिक सवाल पूछते हैं, तो अंततः आपको उनके लिए काम करना पड़ता है। मैंने इसे बदल दिया। प्लानर अभी भी सवाल पूछता है, लेकिन वह एक अनुशंसित उत्तर (recommended answer) भी प्रदान करता है। आपको बस उसे कन्फर्म करना होता है या थोड़ा बदलाव करना होता है। इससे मैन्युअल डेटा एंट्री के बिना योजना सटीक बनी रहती है।

• केवल सूची नहीं, बल्कि संदर्भ (context) भी भेजें यदि आप एक्जीक्यूटर को केवल चरणों की एक सूची देते हैं, तो वह तर्क (reasoning) खो देता है। मैंने प्लानर को चरणों के साथ-साथ धारणाओं और जोखिमों को भी भेजने के लिए बनाया। अब एक्जीक्यूटर को हर क्रिया के पीछे का "क्यों" पता होता है।

• खतरे को चिह्नित करें (Label the danger) एक योजना तभी सुरक्षित होती है जब आप जोखिमों को देख सकें। मेरा सिस्टम डिलीट करने या नाम बदलने जैसे विनाशकारी (destructive) कार्यों को चिह्नित करता है। जब एजेंट किसी विनाशकारी चरण पर पहुँचता है, तो वह रुक जाता है और आपसे पूछता है।

• डेटा को निर्णायक (tiebreaker) के रूप में उपयोग करें यदि किसी एजेंट को लगता है कि कोई चरण विफल हो गया है और आप उसे पुन: प्रयास (retry) करने के लिए कहते हैं, तो वह केवल आँख बंद करके आज्ञा नहीं मानता। वह वास्तविक प्लेटफॉर्म डेटा की जाँच करता है। यदि डेटा दिखाता है कि कार्य पहले ही पूरा हो चुका है, तो एजेंट आपके दावे के बजाय डेटा पर भरोसा करता है।

सुरक्षा के बारे में सच्चाई: Plan mode प्रॉम्प्ट इंजेक्शन (prompt injection) या बिना देखे "approve" पर क्लिक करने वाले उपयोगकर्ता को नहीं रोकता है। यह जिम्मेदारी को "मॉडल पर भरोसा करने" से बदलकर "समीक्षा करने के लिए इंसान पर भरोसा करने" में स्थानांतरित कर देता है।

संरचना सुरक्षा घेरा (guardrails) प्रदान करती है, लेकिन आपकी समीक्षा अंतिम सुरक्षा प्रदान करती है।

Source: https://dev.to/abdullahsaad5/the-hard-part-of-my-ai-agent-wasnt-doing-the-work-it-was-planning-it-n0k

Optional learning community: https://t.me/GyaanSetuAi