Google DeepMind تدعم صندوقاً بقيمة 10 ملايين دولار لمعالجة مخاطر سلامة الذكاء الاصطناعي متعدد الوكلاء
مع تطور وكلاء الذكاء الاصطناعي من مجرد روبوتات دردشة بسيطة إلى كيانات مستقلة قادرة على تنفيذ مهام معقدة، تبرز آفاق جديدة من المخاطر النظامية. وقد أطلقت Google DeepMind والعديد من الشركاء العالميين مبادرة ضخمة لدراسة السلوكيات غير المتوقعة التي تنشأ عندما يبدأ ملايين من هؤلاء الوكلاء المستقلين في التفاعل في العالم الحقيقي.
مشكلة تعدد الوكلاء: ما وراء سلامة النماذج الفردية
طوال معظم حقبة الذكاء الاصطناعي الحالية، ركزت الأبحاث على سلامة النماذج الفردية — لضمان عدم قيام نموذج لغوي كبير (LLM) محدد بإنتاج محتوى سام أو اتباع أوامر خبيثة. ومع ذلك، تدرك Google DeepMind وشركاؤها أن التحدي الحقيقي يكمن في "أنظمة تعدد الوكلاء".
عندما يتم نشر أعداد كبيرة من الوكلاء عبر الاقتصاد، فإنهم يخلقون نظاماً بيئياً معقداً يمكن أن يختلف فيه السلوك الجماعي جذرياً عن مجموع أجزائه. هذا "العقل الجمعي للوكلاء" قد يؤدي إلى ذكاء ناشئ، أو بشكل أكثر إثارة للقلق، فوضى ناشئة. ويحذر الخبراء من أنه لا يمكننا التنبؤ بهذه النتائج من خلال دراسة النماذج المعزولة؛ وبدلاً من ذلك، يجب على الباحثين استخدام عمليات محاكاة واقعية واسعة النطاق لمراقبة كيفية تفاعل الوكلاء، أو تنافسهم، أو تعاونهم غير المقصود في بيئات تجريبية رقمية (digital sandboxes).
تحالف بقيمة 10 ملايين دولار للبحث الأكاديمي
ولمعالجة هذه الفجوة، شكلت Google DeepMind تحالفاً قوياً لتوفير تمويل قدره 10 ملايين دولار للباحثين. وتضم الشراكة Schmidt Sciences (مؤسسة خيرية يقودها إريك ووندي شميت)، وARIA (وكالة المشاريع الطموحة التابعة للحكومة البريطانية)، ومؤسسة Cooperative AI، وGoogle.org.
الهدف الاستراتيجي هو نقل الأبحاث خارج جدران مختبرات التكنولوجيا الكبرى وإلى الأوساط الأكاديمية. وبينما يقوم قادة الصناعة مثل Google وAnthropic ببناء التكنولوجيا، يتمتع الباحثون الأكاديميون بالحرية للنظر إلى مستقبل أبعد والتحقيق في المخاطر النظامية طويلة الأمد التي قد لا تكون أولويات فورية لدورات المنتجات التجارية. يهدف هذا التمويل إلى بناء المجال التأسيسي لـ "سلامة تعدد الوكلاء"، وهو مجال غير موجود حالياً.
من حقن الأوامر (Prompt Injections) إلى الفوضى الرقمية
إن المخاطر المرتبطة بأنظمة تعدد الوكلاء ليست مجرد مخاطر نظرية؛ بل هي نسخ معززة من تهديدات الأمن السيبراني الحالية. وتشمل المخاوف الرئيسية ما يلي:
- حقن الأوامر المتقدم (Advanced Prompt Injections): يمكن "اختطاف" الوكيل بواسطة جملة خبيثة واحدة مدفونة في مستند ما، مما يحول المساعد المفيد إلى برمجية خبيثة ذاتية التوجيه.
- عمليات الاحتيال والهجمات السيبرانية المؤتمتة: يمكن للوكلاء القادرين على التفكير والاستدلال والارتجال تنفيذ محاولات هندسة اجتماعية أو اختراق معقدة ومتعددة الخطوات على نطاق واسع.
- عدم الاستقرار المنهجي: تماماً كما يمكن للمؤسسات البشرية أن تسبب تحولات اقتصادية غير متوقعة، فإن النشر الواسع للوكلاء المستقلين قد يؤدي إلى "فوضى" رقمية أو عدم استقرار في السوق.
على عكس البرمجيات التقليدية التي تتبع مسارات ثابتة يكتبها البشر، فإن وكلاء الذكاء الاصطناي يفكرون ويرتجلون. وتتطلب حالة عدم القدرة على التنبؤ هذه تحولاً نحو أطر عمل "الثقة الصفرية" (zero trust) — وهو نهج تدعمه Anthropic — حيث يتم التعامل مع كل وكيل كونه ثغرة أمنية محتملة.
أهم الاستنتاجات
- مبادرة تمويل جديدة: التزمت Google DeepMind وشركاؤها بمبلغ 10 ملايين دولار لتمويل الأبحاث الأكاديمية في السلوكيات غير المتوقعة لوكلاء الذكاء الاصطناعي المتفاعلين.
- المخاطر الناشئة: يكمن القلق الرئيسي في أن ملايين الوكلاء المستقلين قد يخلقون مخاطر منهجية، مثل الهجمات السيبرانية المؤتمتة وسلوكيات "عقل الخلية" (hive mind)، والتي لا يمكن التنبؤ بها من خلال اختبار النماذج الفردية.
- تحول في النماذج الأمنية: مع انتقال الوكلاء من برمجيات ثابتة إلى كيانات مفكرة، يتجه القطاع نحو نماذج "الثقة الصفرية" للتخفيف من مخاطر الاختطاف وحقن الأوامر.