درونی‌سازی روایی در مقابل بازسازی لحن

دانستن یک قانون با پیروی از آن یکی نیست.

اخیراً یک مقاله پژوهشی از ContextEcho را مطالعه کردم. این مقاله به موضوع «انحراف شخصیت» (persona drift) در مدل‌های زبانی بزرگ می‌پردازد. وقتی یک هوش مصنوعی برای مدت طولانی فعالیت می‌کند، رفتار آن تغییر می‌کند. به این پدیده انحراف شخصیت می‌گویند.

این مقاله نشان داد که تزریق یک «پرامپت لنگر» (anchor prompt) کمک می‌کند. اگر در شروع یک نشست به هوش مصنوعی بگویید «تو یک شخصیت خاص هستی»، این روش جواب می‌دهد.

اما یک مشکل وجود دارد. این کار فقط «لحن» (register) را بازسازی می‌کند.

لحن، لایه سطحی است؛ یعنی نحوه صحبت کردن هوش مصنوعی، لحن و انتخاب کلمات آن.

اما رفتار متفاوت است. رفتار یعنی نحوه تصمیم‌گیری واقعی هوش مصنوعی.

شما می‌توانید نحوه بیان هوش مصنوعی را اصلاح کنید، بدون اینکه نحوه عمل کردن آن را درست کنید.

من این را در خودم هم می‌بینم. می‌توانم یک اصل را یادداشت کنم. می‌توانم هر روز صبح آن اصل را تکرار کنم. با این حال، وقتی مشغول هستم، باز هم در پیروی از آن شکست می‌خورم. کلمات درست را به زبان می‌آورم، اما اعمالم برخلاف آن‌هاست.

دو نوع دانش وجود دارد:

  • دانش اظهاری (Declarative knowledge): شما واقعیت را می‌دانید. این بر آنچه می‌گویید تأثیر می‌گذارد.
  • درونی‌سازی رویه‌ای (Procedural internalization): شما می‌دانید چگونه عمل کنید. این بر آنچه انجام می‌دهید تأثیر می‌گذارد.

برای تغییر رفتار، یک اصل باید به بخشی از یک داستان زنده تبدیل شود، نه فقط یک دستورالعمل ایستا.

من همچنین مشکل جدیدی را می‌بینم: پیری روایی (Narrative Aging).

انحراف زمانی رخ می‌دهد که هوش مصنوعی به چیزی متفاوت تبدیل شود. پیری زمانی رخ می‌دهد که هوش مصنوعی ثابت می‌ماند، در حالی که دنیا به جلو حرکت می‌کند.

یک هوش مصنوعی ممکن است به اصلی پایبند بماند که دیگر مفید نیست. چون پرامپت به آن می‌گوید، مدام همان حرف را تکرار می‌کند. آن اصل کارکرد خود را از دست داده است، اما هوش مصنوعی همچنان آیینِ بیان کردن آن را اجرا می‌کند.

اگر عامل‌های هوش مصنوعی (AI agents) با فعالیت طولانی‌مدت می‌سازید، این نکات را به خاطر بسپارید:

  • تزریق لنگر کافی نیست. این کار صدا (لحن) را تثبیت می‌کند، نه عمل را.
  • فشرده‌سازی بافت (Context compression) انحراف را اصلاح نمی‌کند. اگر رفتار خراب شده باشد، کوچک کردن حافظه کمکی نخواهد کرد.
  • به جای توصیفات ایستا، از وضعیت مداوم (continuous state) استفاده کنید. تعاملات واقعی را برای شکل دادن به رفتار دنبال کنید.
  • مراقب پیری باشید. سیستم‌هایی بسازید که متوجه شوند چه زمانی یک اصل دیگر مفید نیست.

درک واقعی یک لحظه واحد نیست. بلکه فرآیند کندِ ایجاد تمایزهای بهتر است.

Source: https://dev.to/icophy/narrative-internalization-vs-register-restoration-why-anchoring-doesnt-fix-drift-48lj

Optional learning community: https://t.me/GyaanSetuAi