ইমেইল এজেন্টদের জন্য হিউম্যান-ইন-দ্য-লুপ (Human-in-the-loop) ডিজাইন

একটি রিফান্ড রিকোয়েস্ট আপনার সাপোর্ট কিউতে (support queue) প্রবেশ করল। আপনার AI এজেন্ট ৯১% কনফিডেন্সের সাথে নলেজ বেস থেকে একটি মিল খুঁজে পেল। তবুও এজেন্টটির সেই উত্তরটি পাঠানো উচিত নয়।

বেশিরভাগ টিম মানুষের তদারকিকে (human oversight) একটি সাধারণ পছন্দ হিসেবে দেখে: হয় AI একা ইমেল পাঠাবে অথবা একজন মানুষ সবকিছু পরীক্ষা করবে। উভয় পদ্ধতিই ব্যর্থ হয়।

সম্পূর্ণ অটোমেশন ভুল উত্তরের দিকে পরিচালিত করে যা আপনার ব্র্যান্ডের ক্ষতি করে। আর সম্পূর্ণ মানুষের মাধ্যমে রিভিউ করানো AI-কে একটি ব্যয়বহুল ড্রাফট জেনারেটরে পরিণত করে যা কোনো সময় বাঁচায় না।

একটি সুইচের পরিবর্তে একটি ডায়াল (dial) ব্যবহার করুন। মেসেজের ধরন অনুযায়ী অটোমেশনের মাত্রা নির্ধারণ করুন।

গেট ১: নলেজ ম্যাচ (Knowledge Match) এই গেটটি দেখে যে AI উত্তরের ব্যাপারে কতটা নিশ্চিত।

• কনফিডেন্স ৮৫% বা তার বেশি: সরাসরি আর্টিকেল থেকে উত্তরের ড্রাফট তৈরি করুন। • কনফিডেন্স ৬০% থেকে ৮৫%: উত্তরের ড্রাফট তৈরি করুন তবে সোর্স লিঙ্কটি অন্তর্ভুক্ত করুন যাতে একজন মানুষ দ্রুত এটি যাচাই করতে পারেন। • কনফিডেন্স ৬০%-এর নিচে: ড্রাফট তৈরি করবেন না। ম্যানুয়াল রিভিউয়ের জন্য এটি ফ্ল্যাগ করুন।

গেট ২: ঝুঁকির মাত্রা (Risk Level) এই গেটটি একটি ভুলের ফলাফল বা পরিণতির দিকে নজর দেয়। এটি কনফিডেন্স স্কোরকে উপেক্ষা করে।

• কম ঝুঁকি (পাসওয়ার্ড রিসেট, FAQ): মানুষের অনুমোদনের জন্য উত্তরের ড্রাফট তৈরি করুন। • মাঝারি ঝুঁকি (রিফান্ড, বিলিং পরিবর্তন): উত্তরের ড্রাফট তৈরি করুন তবে অতিরিক্ত মানুষের যাচাইকরণ প্রয়োজন। • উচ্চ ঝুঁকি (আইনি হুমকি, জালিয়াতি): ড্রাফট তৈরি করবেন না। অবিলম্বে একজন মানুষের কাছে এস্কেলেট (escalate) করুন।

এই কারণেই ৯১% কনফিডেন্স থাকা সত্ত্বেও একটি রিফান্ড রিপ্লাই পাঠানো হয় না। কনফিডেন্স আপনাকে বলে যে AI উত্তরটি জানে কি না। আর রিস্ক (ঝুঁকি) আপনাকে বলে যে AI ভুল করলে কী ঘটবে। আপনাকে এই দুটি ধারণা আলাদা করতে হবে।

নিয়মটি সহজ: পাঠানোর আগে সর্বদা ড্রাফটটি দেখান। কখনোই অটো-সেন্ড করবেন না।

মানুষের তদারকি কোনো ট্যাক্স নয়। এটি হলো এমন একটি প্রক্রিয়া যার মাধ্যমে আপনি পরবর্তীতে আরও বেশি অটোমেশন করার জন্য প্রয়োজনীয় ডেটা সংগ্রহ করেন। 'ড্রাফট-অ্যান্ড-অ্যাপ্রুভ' থেকে 'ফুল-অটো' মোডে যেতে লগ (logs) ব্যবহার করে আপনার নির্ভুলতা প্রমাণ করুন। অনুমানের ওপর নির্ভর করবেন না।

এই সপ্তাহে আপনার মেসেজ টাইপগুলোকে এই তিনটি ঝুঁকির স্তরে ভাগ করুন। সিদ্ধান্ত নিন কোথায় আপনি অতিরিক্ত রিভিউ করছেন এবং কোথায় আপনি অতিরিক্ত ঝুঁকিপূর্ণ হচ্ছেন।

Source: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc

Optional learning community: https://t.me/GyaanSetuAi