ऑटोमेटेड वर्कफ़्लो में LLM ईमेल को अलग करना
जब एक LLM एजेंट ईमेल भेजना या टिकटों को अप्रूव करना शुरू करता है, तो समस्या बदल जाती है। अब यह केवल इस बारे में नहीं है कि आपका प्रॉम्प्ट काम करता है या नहीं। अब, आपका सिस्टम तीन परतों पर निर्भर करता है: निर्णय (decision), निष्पादन (execution), और सत्यापन (verification)।
यदि आप इन परतों को मिला देते हैं, तो आपकी टीम को यह समझने में संघर्ष करना पड़ेगा कि एजेंट ने वास्तव में क्या किया था।
ईमेल स्टेप अक्सर वर्कफ़्लो के अंत जैसा दिखता है। वास्तव में, यहीं पर विफलताएं (failures) सबसे पहले दिखाई देती हैं। एक एजेंट किसी अनुरोध को सही ढंग से वर्गीकृत कर सकता है लेकिन उसे गलत व्यक्ति को भेज सकता है या किसी एक्सपायर्ड लिंक का उपयोग कर सकता है। आपको टेस्ट और ट्रेसेस (traces) को अलग करना चाहिए।
एक स्थिर डिज़ाइन एक साथ पूरी बुद्धिमत्ता (intelligence) का परीक्षण करने की कोशिश नहीं करता है। इसके बजाय, अपने सिस्टम को छोटे कॉन्ट्रैक्ट्स (contracts) में विभाजित करें:
- Input Contract: परिभाषित करें कि एजेंट किस डेटा का उपयोग करता है और वह किन कार्यों का अनुरोध कर सकता है।
- Execution Contract: परिभाषित करें कि एक कार्य (action) कैसे एक विशिष्ट ईमेल बनता है।
- Observability Contract: लॉग्स, प्राप्त संदेशों और सिस्टम की अंतिम स्थिति को लिंक करें।
ईमेल लॉजिक को फ्री प्रॉम्प्ट से बाहर रखें। LLM "send_followup_email" जैसा एक्शन सुझा सकता है। हालाँकि, मॉडल को हेडर, प्राप्तकर्ता (recipients), या रिट्राय पॉलिसी (retry policies) का निर्णय नहीं लेना चाहिए। इन अनुवादों के लिए डिटरमिनिस्टिक कोड (deterministic code) का उपयोग करें।
यह दृष्टिकोण परिचालन जोखिम (operational risk) को कम करता है। LLM प्रस्ताव देता है, सिस्टम सत्यापन करता है, और एक्जीक्यूटर (executor) भेजता है।
स्पष्ट दृश्यता बनाए रखने के लिए, इन चार संकेतों को ट्रैक करें:
- एजेंट द्वारा लिया गया निर्णय और उपयोग किया गया संदर्भ (context)।
- ईमेल एक्जीक्यूटर को भेजा गया अंतिम कमांड।
- एक अलग इनबॉक्स में प्राप्त संदेश।
- किसी लिंक पर क्लिक करने या किसी कार्य की पुष्टि करने के बाद अंतिम प्रभाव।
शुरुआती इवेंट से लेकर अंतिम क्लिक तक एक साझा trace_id का उपयोग करें। यह आपको त्रुटियों को जल्दी खोजने में मदद करता है। आपको पता चल जाएगा कि विफलता मॉडल, टूल पॉलिसी, या वर्कर में हुई है।
बेहतर ऑटोमेशन के लिए इस चेकलिस्ट का पालन करें:
- प्रत्येक निष्पादन (execution) का अपना
trace_idहोता है। - LLM केवल एक वैध स्कीमा (schema) के भीतर ही कार्यों का अनुरोध करता है।
- ईमेल एक्जीक्यूटर प्राप्तकर्ता और टेम्पलेट को फिर से सत्यापित करता है।
- प्रत्येक टेस्ट परिदृश्य (scenario) अपने स्वयं के अलग इनबॉक्स का उपयोग करता है।
- अंतिम क्लिक अपेक्षित स्थिति परिवर्तन (state change) की पुष्टि करता है।
- लॉग्स आपको बिना अनुमान लगाए केस को फॉलो करने की अनुमति देते हैं।
इन चरणों को अलग करने से थोड़ा अधिक काम बढ़ जाता है। लेकिन यह आपको कुछ मूल्यवान देता है: यह समझाने की क्षमता कि कोई ईमेल क्यों भेजा गया था या वह क्यों विफल रहा।
Optional learning community: https://t.me/GyaanSetuAi