स्वयंचलित वर्कफ्लोमध्ये LLM ईमेल्स वेगळे करणे

जेव्हा एखादा LLM एजंट ईमेल पाठवण्यास किंवा तिकीट मंजूर करण्यास सुरुवात करतो, तेव्हा समस्या बदलते. आता प्रश्न फक्त तुमचा प्रॉम्प्ट (prompt) काम करतो की नाही, असा उरत नाही. आता तुमची प्रणाली तीन स्तरांवर अवलंबून असते: निर्णय (decision), अंमलबजावणी (execution) आणि पडताळणी (verification).

जर तुम्ही हे स्तर एकत्र मिसळले, तर एजंटने नेमके काय केले हे समजून घेण्यास तुमच्या टीमला अडचण येईल.

ईमेलचा टप्पा अनेकदा वर्कफ्लोचा शेवट वाटतो. पण प्रत्यक्षात, जिथे सर्वात आधी त्रुटी (failures) दिसून येतात, तो हा टप्पा असतो. एखादा एजंट विनंतीचे योग्य वर्गीकरण करू शकतो, परंतु ती चुकीच्या व्यक्तीला पाठवू शकतो किंवा एक्सपायर झालेली लिंक वापरू शकतो. तुम्हाला टेस्ट आणि ट्रेसेस (traces) वेगळे करणे आवश्यक आहे.

एक स्थिर डिझाइन एकाच वेळी सर्व बुद्धिमत्ता तपासण्याचा प्रयत्न करत नाही. त्याऐवजी, तुमच्या प्रणालीचे लहान कॉन्ट्रॅक्ट्समध्ये (contracts) विभाजन करा:

• इनपुट कॉन्ट्रॅक्ट (Input Contract): एजंट कोणता डेटा वापरतो आणि तो कोणत्या कृतींची विनंती करू शकतो हे परिभाषित करा.
• एक्झिक्यूशन कॉन्ट्रॅक्ट (Execution Contract): एखादी कृती विशिष्ट ईमेलमध्ये कशी रूपांतरित होते हे परिभाषित करा.
• ऑब्झर्व्हेबिलिटी कॉन्ट्रॅक्ट (Observability Contract): लॉग्स (logs), प्राप्त संदेश आणि प्रणालीची अंतिम स्थिती यांचा एकमेकांशी संबंध जोडा.

ईमेल लॉजिक मुक्त प्रॉम्प्टपासून (free prompt) दूर ठेवा. LLM "send_followup_email" सारखी कृती सुचवू शकते. तथापि, मॉडेलने हेडर (headers), प्राप्तकर्ते (recipients) किंवा रिट्राय पॉलिसीज (retry policies) ठरवू नयेत. या रूपांतरणांसाठी डिटरमिनिस्टिक कोड (deterministic code) वापरा.

हा दृष्टिकोन ऑपरेशनल रिस्क (operational risk) कमी करतो. LLM प्रस्ताव मांडते, प्रणाली पडताळणी करते आणि एक्झिक्युटर (executor) पाठवतो.

स्पष्ट दृश्यमानता (visibility) राखण्यासाठी, या चार सिग्नलचा मागोवा घ्या:

• एजंटने घेतलेला निर्णय आणि वापरलेला संदर्भ (context).
• ईमेल एक्झिक्युटरला पाठवलेली अंतिम कमांड.
• एका वेगळ्या इनबॉक्समध्ये प्राप्त झालेला संदेश.
• लिंकवर क्लिक केल्यानंतर किंवा कृतीची पुष्टी केल्यानंतर झालेला अंतिम परिणाम.

सुरुवातीच्या इव्हेंटपासून ते अंतिम क्लिकपर्यंत एक सामायिक trace_id वापरा. यामुळे तुम्हाला त्रुटी लवकर शोधण्यास मदत होईल. त्रुटी मॉडेलमध्ये, टूल पॉलिसीमध्ये की वर्करमध्ये झाली आहे, हे तुम्हाला समजेल.

उत्तम ऑटोमेशनसाठी ही चेकलिस्ट फॉलो करा:

• प्रत्येक एक्झिक्यूशनचा स्वतःचा trace_id असावा.
• LLM केवळ वैध स्कीमाच्या (valid schema) मर्यादेत कृतींची विनंती करते.
• ईमेल एक्झिक्युटर प्राप्तकर्ता आणि टेम्पलेटची पुन्हा पडताळणी करतो.
• प्रत्येक टेस्ट सिनेरिओ स्वतःचा वेगळा इनबॉक्स वापरतो.
• अंतिम क्लिक अपेक्षित स्थितीतील बदल (state change) निश्चित करते.
• लॉग्समुळे तुम्हाला अंदाज न लावता केसचा मागोवा घेता येतो.

या पायऱ्या वेगळ्या केल्यामुळे थोडे अधिक काम वाढते. परंतु यामुळे तुम्हाला काहीतरी मौल्यवान मिळते: ईमेल का पाठवला गेला किंवा तो का अयशस्वी झाला, हे स्पष्ट करण्याची क्षमता.

Source: https://dev.to/silviutech/como-aislar-emails-de-agentes-llm-en-flujos-automatizados-sin-perder-trazabilidad-26ac

Optional learning community: https://t.me/GyaanSetuAi