طراحی انسان در چرخه برای ایجنت‌های ایمیل

یک درخواست بازگشت وجه وارد صف پشتیبانی شما می‌شود. ایجنت هوش مصنوعی شما با اطمینان ۹۱٪ یک مورد تطابق در پایگاه دانش پیدا می‌کند. با این حال، ایجنت نباید آن پاسخ را ارسال کند.

اکثر تیم‌ها نظارت انسانی را یک انتخاب ساده می‌بینند: یا هوش مصنوعی به تنهایی ایمیل‌ها را ارسال می‌کند یا یک انسان همه چیز را بررسی می‌کند. هر دو روش شکست می‌خورند.

خودکارسازی کامل منجر به پاسخ‌های بدی می‌شود که به برند شما آسیب می‌زند. بررسی کامل توسط انسان، هوش مصنوعی را به یک تولیدکننده پیش‌نویس گران‌قیمت تبدیل می‌کند که هیچ زمانی را ذخیره نمی‌کند.

به جای یک کلید (روشن/خاموش)، از یک پیچ تنظیم (دایال) استفاده کنید. سطح خودکارسازی را بر اساس نوع پیام تنظیم کنید.

دروازه ۱: تطابق دانش این دروازه بررسی می‌کند که هوش مصنوعی چقدر از پاسخ خود مطمئن است.

• اطمینان ۸۵٪ یا بالاتر: پیش‌نویس پاسخ را مستقیماً از مقاله تهیه کنید. • اطمینان ۶۰٪ تا ۸۵٪: پیش‌نویس را تهیه کنید اما لینک منبع را نیز بگنجانید تا یک انسان بتواند سریعاً آن را تأیید کند. • اطمینان زیر ۶۰٪: پیش‌نویس تهیه نکنید. آن را برای بررسی دستی علامت‌گذاری کنید.

دروازه ۲: سطح ریسک این دروازه پیامدهای یک اشتباه را بررسی می‌کند و امتیازهای اطمینان را نادیده می‌گیرد.

• ریسک پایین (بازیابی رمز عبور، سوالات متداول): پیش‌نویس را برای تأیید انسانی تهیه کنید. • ریسک متوسط (بازگشت وجه، تغییرات صورت‌حساب): پیش‌نویس را تهیه کنید اما نیاز به بررسی دقیق‌تر توسط انسان داشته باشد. • ریسک بالا (تهدیدات حقوقی، کلاهبرداری): پیش‌نویس تهیه نکنید. بلافاصله موضوع را به یک شخص ارجاع دهید.

به همین دلیل است که یک پاسخ بازگشت وجه با اطمینان ۹۱٪ ارسال نمی‌شود. اطمینان به شما می‌گوید که آیا هوش مصنوعی پاسخ را می‌داند یا خیر. ریسک به شما می‌گوید اگر هوش مصنوعی اشتباه کند چه اتفاقی می‌افتد. شما باید این دو مفهوم را از هم جدا کنید.

قانون ساده است: همیشه پیش‌نویس را قبل از ارسال نشان دهید. هرگز ارسال خودکار انجام ندهید.

نظارت انسانی یک مالیات نیست. بلکه روشی است که از طریق آن داده‌های مورد نیاز برای خودکارسازی بیشتر در آینده را جمع‌آوری می‌کنید. برای گذار از حالت «پیش‌نویس و تأیید» به «خودکارسازی کامل»، از گزارش‌ها (logs) برای اثبات دقت خود استفاده کنید. به احساسات تکیه نکنید.

این هفته انواع پیام‌های خود را در این سه سطح ریسک دسته‌بندی کنید. تصمیم بگیرید کجا بیش از حد در حال بررسی هستید و کجا بیش از حد ریسک‌پذیر عمل می‌کنید.

Source: https://dev.to/qasim157/human-in-the-loop-design-for-email-agents-3fhc

Optional learning community: https://t.me/GyaanSetuAi