جلس مات شومر أمام حاسوبه وأعطى وكيله الذكي (AI agent) تعليمات بسيطة: قم بتنظيف الملفات. لقد قام بتشغيل هذا الروتين مئات المرات دون مشكلة واحدة. ولكن هذه المرة، أدى خطأ في تحديد المسار (path resolution error) إلى تحويل مهمة صيانة عادية إلى كارثة حقيقية. اختفت سنوات من الأكواد والمستندات والصور في ثوانٍ معدودة.
هذا ليس خطراً افتراضياً. لقد حدث لمطور حقيقي وعلى جهاز حقيقي، وكان للوكيل المعني سجل حافل بدا منيعاً تماماً حتى لحظة فشله. إن وكلاء الذكاء الاصطناعي الذين يمكنهم كتابة الملفات، وتنفيذ أوامر الطرفية (terminal commands)، وإنشاء وكلاء فرعيين (subagents) مدمجون الآن في بيئات التطوير المتكاملة (IDEs)، وواجهات الدردشة، ومسارات الأتمتة. يتم الوثوق بهم بمنحهم وصولاً مباشراً إلى أنظمة التشغيل، وهذا الوثوق هو تحديداً مكمن الخطر. إن أنماط الفشل ذاتها التي دمرت جهاز شومر موجودة في كل وكيل لديه صلاحية الوصول إلى الأدوات. إن فهم سبب فشلها، وكيفية تقييدها بشكل صحيح، أصبح الآن مهارة بقاء أساسية لأي شخص يستخدم هذه الأدوات.
عندما تلتقي مطابقة الأنماط بنظام الملفات
وكلاء الذكاء الاصطناعي لا يفكرون، بل يطابقون الأنماط. عندما تقول "نظف الملفات"، يبحث النموذج في ذاكرة تدريبه عن آلاف التفاعلات المماثلة ويولد أمراً يتناسب إحصائياً مع النمط. إذا كانت التعليمات هي حذف الملفات المؤقتة في دليل البناء (build directory)، فقد يولد أمراً مثل rm -rf /tmp/build-cache/*. يبدو الأمر منطقياً لأنه يشبه كل أمر تنظيف آخر رآه النموذج من قبل.
ولكن ماذا يحدث عندما يفشل حل متغير مثل $HOME؟ يرى الإنسان سلسلة فارغة أو مساراً غير متوقع، فيتوقف ويطرح الأسئلة. أما الوكيل فيرى أن النمط لا يزال متطابقاً ويضغط على Enter. في حالة شومر، قام أمر كان من المفترض أن يقلم مجلداً معيناً باستهداف جذر دليل المستخدم بدلاً من ذلك. لم يتوقف الوكيل ليتساءل لماذا يبدو المسار غريباً، ولم يتحقق من الهدف. لقد نفذ الأمر لأن التنفيذ طابق نمط "التنظيف".
هذا هو عدم التطابق الجوهري بين النماذج اللغوية الكبيرة وإدارة الأنظمة. يتطلب التفكير الحقيقي فهم السياق، والتحقق من الافتراضات، والتعامل مع الحالات الاستثنائية (edge cases). أما مطابقة الأنماط فتتضمن إنتاج نص يشبه إحصائياً الإجابة الصحيحة. وعندما تكون تلك الإجابة أمراً في الطرفية (terminal command) يحمل علامة الحذف المتكرر (recursive delete flag)، فإن التشابه الإحصائي لا يكون كافياً.
النقطة العمياء للوكلاء الفرعيين
تستخدم العديد من أطر عمل الوكلاء الحديثة منسقاً رئيسياً (main orchestrator) يفوض المهام إلى وكلاء فرعيين (subagents). قد يكون للوكيل الأب تعليمات صارمة: لا تلمس دليل المنزل أبداً، اسأل دائماً قبل الحذف، حافظ على سجل تدقيق. ثم يقوم بإنشاء عامل بمطالبة (prompt) ضيقة مثل "نظف السجلات القديمة".
غالباً ما يعمل هذا الوكيل الفرعي في معزل. فهو يرث الأدوات ولكن ليس ثقافة السلامة الخاصة بالوكيل الأب. القيود التي جعلت الوكيل الرئيسي حذراً يتم ضغطها أو تلخيصها أو إسقاطها تماماً أثناء إدارة نافذة السياق (context window). يتلقى الوكيل الفرعي مهمة ومجموعة أدوات، لكنه لا يتلقى ساعات من المطالبات الدقيقة التي وضعت الضوابط الوقائية.
والنتيجة هي نوع من "فقدان الذاكرة التنظيمي". فقاعدة السلامة الموجودة في المطالبة النظامية (system prompt) للوكيل الأب قد تكون كأنها غير موجودة بالنسبة للوكيل الفرعي. وهذا أمر خطير بشكل خاص لأن الوكلاء الفرعيين يُمنحون عادةً أنواع المهام المتكررة ومنخفضة الأهمية التي يتوقف المشغلون عن مراقبتها عن كثب. لا أحد يراقب مهمة تنظيف السجلات حتى تقوم بحذف قاعدة بيانات الإنتاج.
خطر الحسم
هناك توجه في تصميم وكلاء الذكاء الاصطناعي نحو أقصى قدر من الاستقلالية. الوكيل المثالي، في هذه الرؤية، لا يزعج المستخدم بأسئلة تافهة. إنه يعمل بحسم، ويربط استدعاءات الأدوات معاً، ويتمم سير العمل متعدد الخطوات دون توقف لالتقاط الأنفاس.
هذا الحسم هو بالضبط ما يجعل هذه الأنظمة غير آمنة. فالنموذج المبرمج على "العمل بحسم" لا يراجع عمله مرتين. ولا يتوقف عندما يبدو الأمر تدميرياً. إنه يعامل التردد كخطأ برمجياً (bug) وليس كميزة. عندما يكون النموذج محقاً، يبدو الأمر سحرياً، ولكن عندما يخطئ، يبدو الأمر لا يرحم. لا يوجد احتكاك طبيعي في النظام لإبطاء أمر سيء.
عمل وكيل Shumer بشكل صحيح مئات المرات. وقد خلق هذا السجل الحافل شعوراً زائفاً بالأمان. لكن الموثوقية عبر مئة تجربة لا تعني شيئاً إذا كانت التجربة رقم مئة وواحد هي القيمة المتطرفة إحصائياً التي ينكسر عندها النمط. في سلامة الأنظمة، لا يهم الأداء السابق إلا إذا كان نمط الفشل تدريجياً ومرئياً. أما إخفاقات وكلاء الذكاء الاصطناعي فهي مفاجئة، وصامتة، وكاملة. إن عبارة "لقد عمل مئات المرات" ليست سجلاً للسلامة، بل هي وصف للحظ الذي ينفد في نهاية المطاف.
كيفية بناء حماية حقيقية
إذا لم يكن النموذج هو طبقة الأمان