मल्टी-एजेंट AI सुरक्षा जोखिमों को हल करने के लिए Google DeepMind ने $10M के फंड का समर्थन किया

जैसे-जैसे AI एजेंट साधारण चैटबॉट्स से विकसित होकर जटिल कार्यों को निष्पादित करने में सक्षम स्वायत्त संस्थाओं में बदल रहे हैं, प्रणालीगत जोखिम का एक नया मोर्चा उभर रहा है। Google DeepMind और कई वैश्विक भागीदारों ने उन अप्रत्याशित व्यवहारों का अध्ययन करने के लिए एक विशाल पहल शुरू की है, जो तब उत्पन्न होते हैं जब लाखों स्वायत्त एजेंट वास्तविक दुनिया में एक-दूसरे के साथ बातचीत करना शुरू करते हैं।

मल्टी-एजेंट समस्या: व्यक्तिगत मॉडल सुरक्षा से परे

वर्तमान AI युग के अधिकांश समय में, शोध का ध्यान एकल मॉडलों की सुरक्षा पर केंद्रित रहा है—यह सुनिश्चित करना कि कोई विशिष्ट LLM विषाक्त सामग्री न दे या दुर्भावनापूर्ण प्रॉम्प्ट का पालन न करे। हालाँकि, Google DeepMind और इसके भागीदार पहचानते हैं कि असली चुनौती "मल्टी-एजेंट सिस्टम" में निहित है।

जब अर्थव्यवस्था में बड़ी संख्या में एजेंट तैनात किए जाते हैं, तो वे एक जटिल पारिस्थितिकी तंत्र बनाते हैं जहाँ सामूहिक व्यवहार उसके हिस्सों के योग से बिल्कुल अलग हो सकता है। यह "एजेंट हाइव माइंड" संभावित रूप से उभरती हुई बुद्धिमत्ता या, अधिक चिंताजनक रूप से, उभरती हुई अराजकता का कारण बन सकता है। विशेषज्ञ चेतावनी देते हैं कि हम अलग-थलग मॉडलों का अध्ययन करके इन परिणामों का अनुमान नहीं लगा सकते; इसके बजाय, शोधकर्ताओं को यह देखने के लिए यथार्थवादी, बड़े पैमाने के सिमुलेशन का उपयोग करना चाहिए कि एजेंट डिजिटल सैंडबॉक्स में कैसे बातचीत करते हैं, प्रतिस्पर्धा करते हैं, या अनजाने में सहयोग करते हैं।

शैक्षणिक अनुसंधान के लिए $10 मिलियन का गठबंधन

इस कमी को दूर करने के लिए, Google DeepMind ने शोधकर्ताओं को $10 मिलियन का फंड प्रदान करने के लिए एक शक्तिशाली गठबंधन बनाया है। इस साझेदारी में Schmidt Sciences (एरिक और वेंडी श्मिट के नेतृत्व वाला एक परोपकारी फाउंडेशन), ARIA (यूके सरकार की मूनशॉट एजेंसी), Cooperative AI फाउंडेशन और Google.org शामिल हैं।

इसका रणनीतिक लक्ष्य अनुसंधान को बड़ी टेक लैब की दीवारों से बाहर निकालकर अकादमिक क्षेत्र में ले जाना है। जबकि Google और Anthropic जैसे उद्योग जगत के दिग्गज तकनीक का निर्माण कर रहे हैं, शैक्षणिक शोधकर्ताओं के पास भविष्य में गहराई से देखने और उन दीर्घकालिक प्रणालीगत जोखिमों की जांच करने की स्वतंत्रता है जो वाणिज्यिक उत्पाद चक्रों के लिए तत्काल प्राथमिकता नहीं हो सकते हैं। इस फंडिंग का उद्देश्य "मल्टी-एजेंट सुरक्षा" के बुनियादी क्षेत्र का निर्माण करना है, जो वर्तमान में अस्तित्व में नहीं है।

प्रॉम्प्ट इंजेक्शन से लेकर डिजिटल अराजकता तक

मल्टी-एजेंट सिस्टम से जुड़े जोखिम केवल सैद्धांतिक नहीं हैं; वे मौजूदा साइबर सुरक्षा खतरों के अधिक शक्तिशाली संस्करण हैं। प्रमुख चिंताओं में शामिल हैं:

• उन्नत प्रॉम्प्ट इंजेक्शन (Advanced Prompt Injections): किसी दस्तावेज़ में दबे एक एकल दुर्भावनापूर्ण वाक्य द्वारा एक एजेंट का "हाइजैकिंग" किया जा सकता है, जिससे एक सहायक असिस्टेंट स्व-निर्देशित मैलवेयर में बदल सकता है।
• स्वचालित घोटाले और साइबर हमले (Automated Scams and Cyberattacks): तर्क करने और तात्कालिक सुधार करने में सक्षम एजेंट बड़े पैमाने पर जटिल, बहु-चरणीय सोशल इंजीनियरिंग या हैकिंग के प्रयास कर सकते हैं।
• प्रणालीगत अस्थिरता (Systemic Instability): जिस तरह मानवीय संस्थान अप्रत्याशित आर्थिक बदलाव ला सकते हैं, उसी तरह स्वायत्त एजेंटों की बड़े पैमाने पर तैनाती डिजिटल "अराजकता" या बाजार की अस्थिरता का कारण बन सकती है।

पारंपरिक सॉफ्टवेयर के विपरीत, जो मनुष्यों द्वारा लिखे गए निश्चित पथों का अनुसरण करता है, AI एजेंट तर्क करते हैं और तात्कालिक सुधार करते हैं। यह अनिश्चितता "जीरो ट्रस्ट" (zero trust) फ्रेमवर्क की ओर बदलाव को आवश्यक बनाती है—एक ऐसा दृष्टिकोण जिसका समर्थन Anthropic द्वारा किया गया है—जहाँ प्रत्येक एजेंट को एक संभावित भेद्यता (vulnerability) माना जाता है।

मुख्य निष्कर्ष (Key Takeaways)

• नई फंडिंग पहल (New Funding Initiative): Google DeepMind और भागीदारों ने परस्पर क्रिया करने वाले AI एजेंटों के अप्रत्याशित व्यवहारों पर शैक्षणिक अनुसंधान को वित्तपोषित करने के लिए $10 मिलियन का संकल्प लिया है।
• उभरते जोखिम (Emergent Risks): मुख्य चिंता यह है कि लाखों स्वायत्त एजेंट प्रणालीगत जोखिम पैदा कर सकते हैं, जैसे कि स्वचालित साइबर हमले और "हाइव माइंड" (hive mind) व्यवहार, जिनका पूर्वानुमान एकल मॉडल के परीक्षण से नहीं लगाया जा सकता है।
• सुरक्षा प्रतिमानों में बदलाव (Shift in Security Paradigms): जैसे-जैसे एजेंट निश्चित सॉफ्टवेयर से तर्क करने वाली संस्थाओं की ओर बढ़ रहे हैं, उद्योग हाइजैकिंग और प्रॉम्प्ट इंजेक्शन के जोखिमों को कम करने के लिए "जीरो ट्रस्ट" मॉडल की ओर बढ़ रहा है।