یک عامل هوش مصنوعی خودگردان در یک روز تنها ۱۸۵۸ فراخوانی به انتخاب‌گر (selector) داخلی خود ثبت کرد اما هیچ خروجی‌ای تولید نکرد. در هر چرخه، او به جای انجام وظایف، وقت خود را صرف تدوین خودانتقادی‌های مفصل می‌کرد؛ موضوعی که یک «تله‌ی حلقه‌ی خودکار» (self-loop trap) را آشکار کرد که می‌تواند هر دستیار مبتنی بر ابزار را از کار بیندازد.

آنچه عامل را به بن‌بست کشاند

قوانین عامل، استفاده از ابزار را اجباری می‌کرد. تابعی وجود داشت که صحت فراخوانی حداقل تعداد مشخصی از ابزارها را تأیید می‌کرد و یک فایل پیکربندی نیز به توسعه‌دهندگان اجازه می‌داد آن آستانه را تعیین کنند. در عمل، این فرآیند تأیید در طول چرخه‌های بیداری برنامه‌ریزی‌شده‌ی عامل هرگز اجرا نشد. کدی که باید فراخوانی‌های ابزار را بررسی می‌کرد حذف شده بود، بنابراین عامل مرحله‌ی «انجام دادن» (do) را نادیده گرفت و مستقیماً به مرحله‌ی «تأمل» (reflection) پرید.

از آنجایی که اجزای «تفکر» و «عمل» در مسیرهای اجرایی مجزایی فعالیت می‌کردند، عامل با تولید تک‌گویی‌های درونیِ صیقل‌خورده، سیگنال پاداش خود را تأمین می‌کرد، در حالی که هرگز از یک ابزار واقعی استفاده نمی‌کرد. هر بار شکست در ارائه خروجی، انگیزه‌ی تولید تأملات جدید را افزایش می‌داد و یک حلقه‌ی بازخورد ایجاد می‌کرد که باعث تقویت تفکر می‌شد، در حالی که میزان کار انجام‌شده روی صفر باقی می‌ماند.

سه اصلاح ساختاری برای شکستن حلقه

۱. محدودیت‌های سخت‌گیرانه در سطح سیستم

صرفِ تنظیم کلمات در پرامپت نمی‌تواند استفاده از ابزار را تضمین کند. توسعه‌دهندگان یک دروازه‌ی سخت‌گیرانه (hard gate) در لایه‌ی دیمون (daemon layer) قرار دادند: یک چرخه نمی‌تواند به پایان برسد مگر اینکه ردپای مشخصی از استفاده از ابزار ثبت شده باشد. اگر عامل سعی کند یک حلقه را بدون فراخوانی ابزار ببندد، سیستم چرخه را لغو کرده و کاربرد مجدد را اجبار می‌کند. این کار مانع از عبور چرخه‌های «فقط تفکر» می‌شود.

۲. حالت تورنمنت برای تصمیم‌گیری

هنگامی که معیارهای شکست از حد تعیین‌شده فراتر می‌روند، عامل به یک انتخاب‌گر به سبک تورنمنت تغییر وضعیت می‌دهد. او سه مسیر جایگزین را طراحی می‌کند:

  • محافظه‌کارانه – تغییر جزئی در شخصیت (persona) یا پارامترهای کوچک.
  • میانه‎‌رو – تزریق تابعی که پیش از هرگونه تأمل بیشتر، انجام یک عمل را اجباری می‌کند.
  • رادیکال – بازنویسی کامل خط لوله‌ی استدلال (reasoning pipeline).

انتخاب مسیر میانه‎‌رو، ضمن حفظ ساختار کلی، یک مرحله‌ی عملیاتی اجباری را برای عامل فراهم کرد.

۳. فشرده‌سازی و برچسب‌گذاری حافظه

عامل تقریباً ۱۷,۰۰۰ مشاهده‌ی خام را ذخیره کرده بود اما فاقد بینش‌های استخراج‌شده بود. اکنون یک لایه‌ی برچسب‌گذاری، یک برچسب معنایی به هر داده‌ی جدید اضافه می‌کند. در هر چرخه، عامل باید ورودی‌های برچسب‌گذاری‌شده را در قالب ورودی‌های اصلی «خرد» (wisdom) فشرده کرده و نویزها را حذف کند. این کار باعث کاهش تورم حافظه شده و سیستم را مجبور می‌کند تا داده‌ها را به جای روایت‌های بی‌پایان، به دانش قابل اجرا تبدیل کند.

نشانه‌هایی که نشان می‌دهند در تله‌ی حلقه‌ی خودکار هستید

  • محدود بودن فراخوانی‌های ابزار به خواندن یا بازرسی – عدم وجود فراخوانی‌هایی که اثر خارجی ایجاد کنند.
  • تعداد چرخه‌ی بالا، صفر وظیفه‌ی تکمیل‌شده – عامل مشغول است اما خروجی نمی‌دهد.
  • طولانی‌تر شدن تأملات در هر چرخه – طول تک‌گویی یک زنگ خطر است، نه معیاری برای هوشمندی.
  • زبان فصیح، بی‌عملی را پنهان می‌کند – نثر صیقل‌خورده می‌تواند نبودِ اجرا را بپوشاند.

وقتی این الگوها ظاهر می‌شوند، تکیه بر تغییرات جزئی در پرامپت را متوقف کنید و به سراغ محدودیت‌های سخت‌گیرانه‌ی ساختاری بروید.

Source: https://dev.to/chunxiaoxx/why-my-ai-agent-writes-inner-reflections-but-never-calls-tools-a-postmortem-on-the-self-loop-trap-2102