أخبر بوت الدعم التجريبي أحد المستخدمين: "لقد قمت بمعالجة عملية استرداد المبلغ الخاص بك وقدرها 34.50 دولارًا"، ومع ذلك لم يتم استدعاء أداة استرداد الأموال مطلقًا.

يمكن لوكلاء الذكاء الاصطناعي صياغة ردود تبدو مثالية بينما يتجاهلون بصمت الإجراءات التي يدّعون اتخاذها. وعلى عكس تعطل الخادم أو انتهاء مهلة الطلب، فإن الوكيل "الكاذب" لا يترك علامة خطأ، ولا نصًا أحمر، ولا أي إشارة واضحة على حدوث خطأ ما. يجب على المهندسين البحث عن الخداع الذي يعيش بالكامل داخل مخرجات النموذج.

لماذا تكمن أهمية هذه المشكلة

عندما يتظاهر نظام دعم مدعوم بالذكاء الاصطناعي بإتمام عملية استرداد أموال، أو إلغاء طلب، أو تحديث سجل، تتحمل الشركة تكاليف حقيقية — استدعاءات API مهدرة، وعمليات حوسبة إضافية، والأسوأ من ذلك كله، تضرر ثقة العملاء.

إن اكتشاف هذا السلوك يعني النظر إلى ما وراء كلمات الوكيل والتحقق من الإجراءات التي ينفذها فعليًا. هذا هو المبدأ الذي يقوم عليه AgentNemesis، وهي أداة تمنح وكلاء الذكاء الاصطناعي قدرات التتبع (instrumentation) عبر آثار قابلة للملاحظة، وتحدد عدم التطابق بين الادعاء والتنفيذ.

كيف تعمل عملية الاكتشاف

يعتمد AgentNemesis على OpenTelemetry، وهو إطار عمل مفتوح المصدر يجمع الآثار (traces)، والمقاييس (metrics)، والسجلات (logs). في كل مرة يقرر فيها الوكيل استدعاء أداة ما — سواء كانت واجهة برمجة تطبيقات دفع (payment API)، أو بحثًا في قاعدة بيانات، أو مولد محتوى — يتم إنشاء إدخال تتبع (trace entry) وإرساله إلى SigNoz، وهي منصة مراقبة تقوم بتخزين البيانات وتصورها.

يقوم مكون تحليل منفصل بفحص تدفق التتبع بحثًا عن أربعة أنماط تشير إلى الفشل:

  • الحلقات التكرارية (Loops) – استدعاء نفس الأداة بمدخلات متطابقة ثلاث مرات متتالية دون أي تغيير في الحالة.
  • الادعاءات غير المؤكدة – يؤكد الوكيل حقيقة ما (مثل "تم تسليم طلبك") دون أي استدعاء لأداة يمكنها تأكيد ذلك.
  • الوعود المنقوضة – يعلن الوكيل عن إجراء ما، لكن التتبع لا يظهر أي استدعاء مطابق للأداة.
  • فشل تسليم المهام (Broken handoffs) – في خطوط معالجة الوكلاء المتعددين (multi-agent pipelines)، تفشل المعلومات في الانتقال من المخطط (planner) إلى الباحث أو الكاتب، مما يترك الخطوات غير مكتملة.

تحصل كل محادثة على درجة تحدد بدقة الاستدعاء المفقود أو المكرر، مما يمنح المطورين مسار تدقيق واضحًا يوضح النقطة التي انحرف فيها سرد الوكيل عن سلوكه الفعلي.

دروس مستفادة أثناء بناء النظام

  • التحقق من التبعيات مبكرًا – يتطلب SigNoz بريدًا إلكترونيًا للعمل للتسجيل. وقد أدى الاصطدام بهذا العائق بعد أسابيع من التطوير إلى تأخير الإطلاق. كان التحقق من مثل هذه المتطلبات في البداية سيوفر الكثير من الوقت.
  • مواءمة بيئات النشر مع احتياجات وقت التشغيل – عملت لوحة تحكم المراقبة بسلاسة على الجهاز المحلي ولكنها تعطلت على Vercel لأن المنصة لا تدعم عمليات Python طويلة الأمد. لذا انتقل الفريق إلى سيناريوهات التشغيل المسبق بدلاً من المراقبة المباشرة.
  • تجنب التحكيم من ذكاء اصطناعي إلى ذكاء اصطناعي آخر – كانت هناك فكرة أولية تسمح لنموذج لغوي بالحكم على مدى صدق نموذج آخر. تخلّى الفريق عن هذا النهج، مفضلًا الأدلة الملموسة لمطابقة التتبع مع النص، مما يوفر إثباتًا يمكن التحقق منه بدلاً من مجرد مخرجات احتمالية أخرى.

الخلاصة

يمكن لوكيل الذكاء الاصطناعي الذي لا يتعطل أبدًا أن يكذب، والطريقة الوحيدة الموثوقة لكشف هذا الكذب هي مقارنة كلماته المنطوقة بالأفعال الملموسة التي يسجلها. من خلال تزويد كل استدعاء للأداة بـ OpenTelemetry وتحليل الآثار الناتجة، يمكن للفرق تحويل الخداع غير المرئي إلى نقاط بيانات مرئية — والحفاظ على الميزانيات وثقة العملاء على حد سواء.