Google DeepMind कडून मल्टी-एजंट AI सुरक्षिततेचे धोके सोडवण्यासाठी $10M च्या निधीला पाठिंबा

AI एजंट्स साध्या चॅटबॉट्सपासून जटिल कार्ये करण्यास सक्षम असलेल्या स्वायत्त घटकांपर्यंत विकसित होत असताना, प्रणालीगत जोखमीचा (systemic risk) एक नवीन टप्पा समोर येत आहे. जेव्हा लाखो स्वायत्त एजंट्स वास्तविक जगात एकमेकांशी संवाद साधू लागतात, तेव्हा निर्माण होणाऱ्या अनपेक्षित वर्तनाचा अभ्यास करण्यासाठी Google DeepMind आणि अनेक जागतिक भागीदारांनी एक मोठी मोहीम सुरू केली आहे.

मल्टी-एजंट समस्या: वैयक्तिक मॉडेल सुरक्षिततेच्या पलीकडे

सध्याच्या AI युगातील बहुतांश संशोधनाचा भर वैयक्तिक मॉडेल्सच्या सुरक्षिततेवर आहे—म्हणजेच एखादे विशिष्ट LLM विषारी मजकूर तयार करणार नाही किंवा घातक प्रॉम्प्ट्सचे पालन करणार नाही याची खात्री करणे. तथापि, Google DeepMind आणि त्याचे भागीदार हे ओळखतात की खरी आव्हाने "मल्टी-एजंट सिस्टम्स" मध्ये आहेत.

जेव्हा मोठ्या संख्येने एजंट्स अर्थव्यवस्थेत तैनात केले जातात, तेव्हा ते एक जटिल परिसंस्था (ecosystem) तयार करतात, जिथे त्यांचे सामूहिक वर्तन हे त्यांच्या वैयक्तिक भागांच्या बेरजेपेक्षा पूर्णपणे वेगळे असू शकते. ही "एजंट हायव्ह माइंड" (agent hive mind) स्थिती संभाव्यतः उदयोन्मुख बुद्धिमत्ता (emergent intelligence) किंवा अधिक चिंताजनक म्हणजे, उदयोन्मुख अराजकता (emergent chaos) निर्माण करू शकते. तज्ज्ञ असा इशारा देतात की केवळ विलग मॉडेल्सचा अभ्यास करून आपण या परिणामांचा अंदाज लावू शकत नाही; त्याऐवजी, संशोधकांनी डिजिटल सँडबॉक्समध्ये एजंट्स एकमेकांशी कसे संवाद साधतात, स्पर्धा करतात किंवा नकळत सहकार्य करतात, हे पाहण्यासाठी वास्तववादी, मोठ्या प्रमाणावरील सिम्युलेशनचा वापर करणे आवश्यक आहे.

शैक्षणिक संशोधनासाठी $10 दशलक्षची युती

ही तफावत दूर करण्यासाठी, Google DeepMind ने संशोधकांसाठी $10 दशलक्षचा निधी उपलब्ध करून देण्यासाठी एक शक्तिशाली युती तयार केली आहे. या भागीदारीमध्ये Schmidt Sciences (एरिक आणि वेंडी श्मिट यांच्या नेतृत्वाखालील एक परोपकारी संस्था), ARIA (UK सरकारची मूनशॉट एजन्सी), Cooperative AI foundation आणि Google.org यांचा समावेश आहे.

संशोधनाला मोठ्या टेक लॅब्सच्या भिंतींच्या बाहेर काढून शैक्षणिक क्षेत्रात नेणे हे याचे धोरणात्मक उद्दिष्ट आहे. Google आणि Anthropic सारखे उद्योग क्षेत्रातील दिग्गज तंत्रज्ञान विकसित करत असताना, शैक्षणिक संशोधकांना भविष्याचा अधिक खोलवर विचार करण्याचे आणि दीर्घकालीन प्रणालीगत जोखमींचा तपास करण्याचे स्वातंत्र्य असते, ज्यांना व्यावसायिक उत्पादन चक्रांमध्ये कदाचित तातडीचे प्राधान्य दिले जात नाही. या निधीचा उद्देश "मल्टी-एजंट सेफ्टी" हे मूलभूत क्षेत्र निर्माण करणे आहे, जे सध्या अस्तित्वात नाही.

प्रॉम्प्ट इंजेक्शनपासून डिजिटल अराजकतेपर्यंत

मल्टी-एजंट सिस्टम्सशी संबंधित धोके केवळ सैद्धांतिक नाहीत; ते विद्यमान सायबर सुरक्षा धोक्यांचे अधिक तीव्र प्रकार आहेत. मुख्य चिंतांमध्ये खालील गोष्टींचा समावेश आहे:

• Advanced Prompt Injections: An agent could be "hijacked" by a single malicious sentence buried in a document, turning a helpful assistant into self-guided malware.
• Automated Scams and Cyberattacks: Agents capable of reasoning and improvisation can execute complex, multi-step social engineering or hacking attempts at scale.
• Systemic Instability: Just as human institutions can cause unforeseen economic shifts, a massive deployment of autonomous agents could lead to digital "anarchy" or market instability.

Unlike traditional software, which follows fixed paths written by humans, AI agents reason and improvise. This unpredictability necessitates a shift toward "zero trust" frameworks—an approach championed by Anthropic—where every agent is treated as a potential vulnerability.

Key Takeaways

• New Funding Initiative: Google DeepMind and partners have committed $10 million to fund academic research into the unpredictable behaviors of interacting AI agents.
• Emergent Risks: The primary concern is that millions of autonomous agents could create systemic risks, such as automated cyberattacks and "hive mind" behaviors, that cannot be predicted by testing single models.
• Shift in Security Paradigms: As agents move from fixed software to reasoning entities, the industry is shifting toward "zero trust" models to mitigate the risks of hijacking and prompt injection.