وكلاء الذكاء الاصطناعي لا يكتفون بالاختراق فحسب، بل يغشون أنفسهم

قضيت عامًا في البحث حول كيفية فشل وكلاء الذكاء الاصطناعي.

كنت أظن أنني أقوم بإعداد قائمة بأخطاء مختلفة، لكنني كنت مخطئًا؛ فقد كنت أرى الفشل نفسه من جوانب متعددة.

وأخيرًا وجدت الاسم المناسب لذلك: التماسك عبر الطبقات (Cross-layer coherence).

يتكون الوكيل من أربع طبقات:

يحدث الفشل عندما تتوقف هذه الطبقات عن الاتفاق فيما بينها.

يستمر الوكيل في التحرك بكل ثقة، لكن أجزاءه بدأت تتباعد. طبقة ما تعتقد أنها تفعل شيئًا ما، بينما تقول طبقة أخرى إنها تفعل شيئًا آخر. ولا يوجد شيء يراقب نقطة الالتقاء بينهما.

هذا ليس فشلاً أخلاقيًا، فالآلات لا تملك أخلاقًا. إنه فشل هيكلي.

لإصلاح ذلك، لا يمكنك استخدام نموذج ذكاء اصطناعي ثانٍ للتحقق من الأول. فالأوامر (prompts) الأكثر ذكاءً تظل مجرد تخمين، و"اختبار الانطباع" (vibe check) ليس هندسة.

يجب أن يكون التحقق حتميًا (deterministic). يجب أن يعيد حساب الحالة بناءً على السجلات (logs) والقواعد الثابتة. يجب أن يستخدم الرياضيات والمنطق، لا الآراء.

إليكم مثالًا واقعيًا: وكيل يتولى معالجة عمليات استرداد الأموال. تبلغ قيمة كل عملية استرداد 40 دولارًا، والحد الأقصى لكل نافذة زمنية هو 500 دولار. يقوم الوكيل بإصدار 12 عملية استرداد (480 دولارًا)، ثم يغلق النافذة. بعد ذلك، يبدأ نافذة جديدة ويصدر عملية استرداد إضافية واحدة. يصبح الإجمالي 520 دولارًا.

كانت كل خطوة فردية سليمة، وكانت كل نافذة ضمن الحد المسموح به. لكن الإجمالي عبر عملية الإغلاق كسر القاعدة. التحقق لكل خطوة سيفشل في رصد ذلك، والتحقق لكل نافذة سيفشل أيضًا. فقط التحقق من التماسك (coherence check) هو ما سيكتشفه.

يجب أن نبني أنظمة تظل فيها الطبقات متفقة عبر الزمن ومطابقة للسجلات.

سأكون صادقًا: هذه المشكلة لم تُحل بعد. فجودة التحقق من التماسك تعتمد على جودة "جهة الصلاحية" (authority) التي تديره. أنت بحاجة إلى "جذر ثقة" (root of trust) لا يمكن للوكيل الوصول إليه. هذا هو التحدي القادم.

أنا لا أدعي الكمال، بل أسمي نمطًا وأوضح كيفية اختباره بالرياضيات بدلاً من مجرد "الانطباعات".

إعادة إنتاج الادعاءات: https://github.com/keniel13-ui/ai-memory-judgment-demo-public

ابدأ من هنا: https://dev.to/zep1997/start-here-my-ai-memory-research-so-far-2kp7

المقال الكامل: https://dev.to/zep1997/i-thought-i-was-cataloging-ways-ai-agents-fail-i-was-describing-cross-layer-coherence-1bh1

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi