نویسنده دریافت که اگر به عاملهای هوش مصنوعی اجازه صریح برای اجرای مجدد ابزارهایشان را بدهید، بهبود چشمگیری حاصل میشود – یک تغییر ساده در کلمات، نرخ موفقیت اصلاح را از ۰.۱۶ به ۱.۰۰ رساند. این نتیجه که «مجوز اقدام» (action-licensing) نامیده شده است، نشان میدهد که ترغیب یک عامل به بررسی کار خود میتواند بسیار مؤثرتر از صرفاً بیان مجدد هدف باشد.
چرا این اصلاح اهمیت دارد
دستیارهای هوش مصنوعی که میتوانند ابزارهای خارجی (پایگاههای داده، ماشینحسابها، APIها) را فراخوانی کنند، بهطور فزایندهای در جریانهای کاری تجاری استفاده میشوند. وقتی این عاملها دچار لغزش میشوند، خطا اغلب بهصورت بیصدا منتشر شده و بدون سیگنالهای شکستِ واضح، پاسخهای اشتباه تولید میکند. یک راه قابل اعتماد برای مداخله بدون بازنویسی کل پرامپت (prompt) میتواند در زمان توسعهدهندگان صرفهجویی کرده و از اشتباهات پرهزینه در سیستمهای عملیاتی جلوگیری کند.
خطاها چگونه ظاهر میشوند
نویسنده دو الگوی شکست رایج و کمدید را مشاهده کرد:
نادیده گرفتن جستجو (Skipped Lookup) – عامل میداند که باید بخشی از اطلاعات را بازیابی کند (مثلاً نام یک مدیر را از طریق یک شناسه)، اما به جای فراخوانی ابزار جستجو، صرفاً یک پاسخ ساختگی ارائه میدهد. پاسخ در سطح ظاهری باورپذیر به نظر میرسد، اما مبنای واقعی آن وجود ندارد.
بیمعنای تأییدشده (Validated Nonsense) – عامل دادههای ناقص یا نادرست را به یک ابزار میدهد. ابزار بدون ایجاد خطا، نتیجهای را برمیگرداند و عامل آن نتیجه را به عنوان تأیید در نظر میگیرد و در واقع اشتباه خود را تأیید میکند.
هر دو الگو کاربر را با پاسخی مطمئن اما اشتباه رها میکنند و نشانههای معمولِ یک حلقه (loop) یا پاسخِ مفقود را که توسعهدهندگان منتظر آن هستند، فعال نمیکنند.
آزمایش
برای اندازهگیری اینکه پرامپتهای مختلف چگونه بر اصلاح تأثیر میگذارند، نویسنده یک آزمایش کنترلشده با پاسخهای قطعی و واقعی (بدون درجهبندی مبتنی بر LLM) انجام داد. دو نوع ترغیب (nudge) با هم مقایسه شدند:
۱. ترغیبِ فقط هدف (Goal-only nudge) – «پاسخ باید نام مدیر باشد.» نرخ بازیابی: ۰.۱۶.
۲. ترغیبِ مجوز اقدام (Action-licensing nudge) – «پاسخ باید نام مدیر باشد. از ابزارها برای تأیید استفاده کن.» نرخ بازیابی: ۱.۰۰ (تمام اجراهای شکستخورده اصلاح شدند).
تنها تفاوت، اجازه صریح برای اجرای مجدد یک ابزار بود. پرامپت دوم به عامل اجازه داد تا به عقب برگردد، دادههای مفقود را بازیابی کند و حدس قبلی خود را بازنویسی کند. این اجازه، یک ترغیبِ عمدتاً بیاثر را به یک اصلاح تضمینشده برای موارد آزمایششده تبدیل کرد.
اعداد چه چیزی را نشان میدهند
جهش از ۰.۱۶ به ۱.۰۰ نشان میدهد که مانع اصلاح، درک عامل از هدف نبوده، بلکه آزادی عملِ درکشدهی او بوده است. وقتی پرامپت به مدل میگوید «میتوانی دوباره تلاش کنی»، مدل با این موقعیت به عنوان یک زیر-وظیفه (sub-task) جدید برخورد میکند تا یک بنبست، و این امر اجازه میدهد زنجیره فراخوانی ابزار دوباره شروع شود.
محدودیتهای اصلاحاتِ صرفاً مبتنی بر پرامپت
این آزمایش همچنین سناریوهایی را برجسته کرد که در آنها پرامپتنویسی به تنهایی نمیتواند عامل را نجات دهد:
اگر یک ابزار در مراحل بعدی، ورودی اشتباه را بدون اعتراض بپذیرد و مقداری را برگرداند، عامل هیچ سیگنالی مبنی بر اشتباه بودن دادههایش دریافت نمیکند. هیچ مقدار بازنویسیِ پرامپت باعث تشخیص نقص نخواهد شد؛ خودِ ابزار باید اعتبارسنجی ورودی را اعمال کند یا خطا صادر کند.
عاملهایی که اصلاً در فراخوانی ابزارها مشکل دارند، هرگز از دستور «از ابزارها استفاده کن» بهرهای نخواهند برد، زیرا قابلیت زیربنایی آن وجود ندارد. آزمایشِ اصلاح روی چنین مدلهایی، ارزیابیِ پرامپت را با توانایی پایه مدل در فراخوانی ابزار، در هم میآمیزد.
نکات کاربردی برای توسعهدهندگان
اجازه بدهید – وقتی مداخله میکنید، صراحتاً به عامل بگویید که میتواند یک فراخوانی ابزار را تکرار کند یا محاسبات را دوباره انجام دهد. صرفاً بیان مجدد نتیجه مطلوب، اغلب عامل را در مسیر اشتباه و اصلی خود گرفتار میگذارد.
از ابزارها محافظت کنید – بررسیهای ورودی و پیامهای خطای واضح را در ابزارهایی که عامل استفاده میکند، بگنجانید. این کار از نفوذ «بیمعنای تأییدشده» جلوگیری میکند.
زود تشخیص دهید – هرچه زودتر اشتباه شناسایی شود، موفقیت پرامپتِ اجرای مجدد آسانتر خواهد بود. نظارت بر عدم تطابق بین استفاده مورد انتظار و واقعی از ابزار میتواند پرامپت اصلاح را در لحظه مناسب فعال کند.
قابلیتهای مدل را اعتبارسنجی کنید – قبل از تکیه بر اصلاح مبتنی بر پرامپت، تأیید کنید که مدل در وهله اول میتواند بهطور قابل اعتماد ابزارها را فراخوانی کند. در غیر این صورت، ممکن است در حال اندازهگیری اثربخشی پرامپت روی یک زیربنای خراب باشید.
خلاصه کلام: دادن اجازه صریح به یک عامل هوش مصنوعی برای انجام مجدد کارش، میتواند یک اصلاح نیمبند را به یک بازیابی کامل تبدیل کند. طراحان پرامپت باید عبارت «از ابزارها برای تأیید استفاده کن» را به عنوان یک شیر اطمینان در نظر بگیرند، نه یک تزئین اختیاری.