سجلك لا يمكنه تسجيل ما لم يحدث
تبحث معظم أدوات سلامة الذكاء الاصطناعي عن الآثار (artifacts). فهي تبحث عن إدخال في السجل، أو توقيع، أو نتيجة أداة. إذا كانت نتيجة الأداة مزيفة، يقوم النظام بتمييزها. وإذا كانت كتلة JSON معطلة، يكتشفها النظام.
هذه حالات فشل سهلة لأنها تترك أثراً.
الخطر الحقيقي يكمن في الإغفال (omission). الإغفال هو عندما لا يحدث شيء على الإطلاق.
في السجل الذي يسمح بالإضافة فقط (append-only log)، يبدو الغياب متشابهاً بثلاث طرق:
- لم يحدث.
- لم يحدث بعد.
- حدث ولكن لم يتم تسجيله أبداً.
لا يظهر السجل شيئاً. ولا تعيد استعلامات التدقيق (audit query) أي شيء. هنا يصبح الصمت بمثابة موافقة.
يمكنك إصلاح ذلك باستخدام ثلاث قواعد للتصميم:
اجعل الصمت ينتهي مفعوله إذا قام وكيل (agent) بإجراء ما، يجب على المراجع المصادقة عليه. التوقيع المفقود هو ثغرة في أمنك. لا تترك حالة "قيد الانتظار" (pending) معلقة للأبد. حدد موعداً نهائياً. إذا انتهى الموعد النهائي، يجب على النظام تسجيل حالة نهائية مثل
REVIEW_EXPIRED. هذا يحول المساحة الفارغة إلى خطأ يمكن البحث عنه.تطلب استشهادات للادعاءات غالباً ما يستخدم الوكلاء اللغة النثرية لوصف العالم. قد يقول الوكيل: "كان الملف فارغاً". إذا لم تكن هناك نتيجة أداة تدعم ذلك، فإن الادعاء يكون خطيراً.
إذا أثر ادعاء ما على إجراء مستقبلي، فيجب أن يتضمن معرف ملاحظة (observation ID). لا تحاول التخمين ما إذا كان الوكيل يقول الحقيقة، بل تحقق ببساطة مما إذا كان الادعاء يشير إلى مصدر بيانات حقيقي. الادعاء بدون استشهاد هو رسالة غير صالحة (malformed message).
- استخدم تقسيم الحدثين للإجراءات عندما يبدأ وكيل مهمة ما، مثل إرسال بريد إلكتروني، فقد يتوقف عن العمل قبل تسجيل النتيجة. هذا يخلق فجوة. هل تم إرسال البريد الإلكتروني؟ هل يجب عليك إعادة المحاولة؟
استخدم هذا التدفق:
- أضف حدث
INTENTبمفتاح فريد. - قم بتنفيذ الإجراء.
- أضف حدث
OUTCOME.
الآن يمكنك رؤية الحالة المتوسطة. إذا كان لديك INTENT ولكن ليس لديك OUTCOME فستعرف بالضبط أين فشل النظام. يمكنك تسوية الحالة بدلاً من التخمين.
القاعدة بسيطة: مقابل كل نجاح يسجله نظامك، اسأل عما يحدث عندما يكون هذا السجل مفقوداً. إذا كانت الإجابة هي "لا شيء"، فلديك نقطة عمياء.
صمم حالاتك السلبية كسجلات من الدرجة الأولى. امنحها أسماءً. امنحها مالكين. اجعلها تفشل في اختبارات بواباتك (gates).
Source: https://dev.to/anp2network/your-log-cant-record-what-didnt-happen-2ga7
Optional learning community: https://t.me/GyaanSetuAi