𝗛𝘂𝗺𝗮𝗻-𝗶𝗻-𝘁𝗵𝗲-𝗟𝗼𝗼𝗽 𝗗𝗲𝘀𝗶𝗴𝗻 𝗳𝗼𝗿 𝗘𝗺𝗮𝗶𝗹 𝗔𝗴𝗲𝗻𝘁𝘀
एक रिफंड अनुरोध आपके सपोर्ट क्यू (queue) में आता है। आपका AI एजेंट 91% कॉन्फिडेंस के साथ नॉलेज बेस में मिलान पाता है। इसके बावजूद एजेंट को वह उत्तर नहीं भेजना चाहिए।
अधिकांश टीमें मानवीय निरीक्षण (human oversight) को एक सरल विकल्प के रूप में देखती हैं: या तो AI अकेले ईमेल भेजता है या कोई इंसान सब कुछ चेक करता है। दोनों ही तरीके विफल रहते हैं।
पूर्ण स्वचालन (Full automation) गलत उत्तरों की ओर ले जाता है जो आपके ब्रांड को नुकसान पहुँचाते हैं। पूर्ण मानवीय समीक्षा AI को एक महंगा ड्राफ्ट जनरेटर बना देती है जिससे समय की कोई बचत नहीं होती।
स्विच के बजाय डायल का उपयोग करें। संदेश के प्रकार के आधार पर स्वचालन का स्तर निर्धारित करें।
गेट 1: नॉलेज मैच (Knowledge Match) यह गेट इस बात पर नज़र रखता है कि AI उत्तर के बारे में कितना आश्वस्त है।
• 85% या उससे अधिक कॉन्फिडेंस: सीधे लेख से उत्तर का ड्राफ्ट तैयार करें। • 60% से 85% कॉन्फिडेंस: उत्तर का ड्राफ्ट तैयार करें लेकिन सोर्स लिंक शामिल करें ताकि कोई इंसान जल्दी से इसकी पुष्टि कर सके। • 60% से कम कॉन्फिडेंस: ड्राफ्ट तैयार न करें। इसे मैन्युअल समीक्षा के लिए फ्लैग करें।
गेट 2: जोखिम का स्तर (Risk Level) यह गेट गलती के परिणामों पर ध्यान देता है। यह कॉन्फिडेंस स्कोर को नज़रअंदाज़ करता है।
• कम जोखिम (Password resets, FAQs): मानवीय अनुमोदन के लिए उत्तर का ड्राफ्ट तैयार करें। • मध्यम जोखिम (Refunds, billing changes): उत्तर का ड्राफ्ट तैयार करें लेकिन अतिरिक्त मानवीय जांच की आवश्यकता होगी। • उच्च जोखिम (Legal threats, fraud): ड्राफ्ट तैयार न करें। तुरंत किसी व्यक्ति को एस्केलेट (escalate) करें।
यही कारण है कि 91% कॉन्फिडेंस वाला रिफंड उत्तर नहीं भेजा जाता है। कॉन्फिडेंस आपको बताता है कि क्या AI उत्तर जानता है। रिस्क आपको बताता है कि यदि AI गलत हुआ तो क्या होगा। आपको इन दोनों विचारों को अलग करना चाहिए।
नियम सरल है: भेजने से पहले हमेशा ड्राफ्ट दिखाएं। कभी भी ऑटो-सेंड न करें।
मानवीय निरीक्षण कोई टैक्स नहीं है। यह वह तरीका है जिससे आप बाद में अधिक स्वचालन के लिए आवश्यक डेटा एकत्र करते हैं। 'ड्राफ्ट-एंड-अप्रूव' से 'फुल-ऑटो' की ओर बढ़ने के लिए, अपनी सटीकता साबित करने हेतु लॉग्स (logs) का उपयोग करें। भावनाओं पर भरोसा न करें।
इस सप्ताह अपने संदेश प्रकारों को इन तीन जोखिम स्तरों (risk tiers) में विभाजित करें। तय करें कि आप कहाँ ज़रूरत से ज़्यादा समीक्षा कर रहे हैं और कहाँ आप बहुत अधिक जोखिम ले रहे हैं।
Source: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi