മൾട്ടി-ഏജന്റ് AI സുരക്ഷാ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിനായി Google DeepMind 10 മില്യൺ ഡോളറിന്റെ ഫണ്ടിനെ പിന്തുണയ്ക്കുന്നു

AI ഏജന്റുകൾ ലളിതമായ ചാറ്റ്ബോട്ടുകളിൽ നിന്ന് സങ്കീർണ്ണമായ ജോലികൾ ചെയ്യാൻ ശേഷിയുള്ള സ്വയം പ്രവർത്തിക്കുന്ന രൂപങ്ങളായി മാറിക്കൊണ്ടിരിക്കുമ്പോൾ, പുതിയ തരം വ്യവസ്ഥാപിത അപകടസാധ്യതകൾ (systemic risks) ഉയർന്നുവരുന്നു. ദശലക്ഷക്കണക്കിന് ഇത്തരം സ്വയം പ്രവർത്തിക്കുന്ന ഏജന്റുകൾ യഥാർത്ഥ ലോകത്ത് പരസ്പരം ഇടപഴകാൻ തുടങ്ങുമ്പോൾ ഉണ്ടാകാൻ സാധ്യതയുള്ള പ്രവചനാതീതമായ പെരുമാറ്റങ്ങളെക്കുറിച്ച് പഠിക്കുന്നതിനായി Google DeepMind-ഉം മറ്റ് ആഗോള പങ്കാളികളും ചേർന്ന് ഒരു വലിയ സംരംഭം ആരംഭിച്ചിരിക്കുകയാണ്.

മൾട്ടി-ഏജന്റ് പ്രശ്നം: വ്യക്തിഗത മോഡൽ സുരക്ഷയ്ക്ക് അപ്പുറം

നിലവിലെ AI യുഗത്തിൽ, ഗവേഷണങ്ങൾ പ്രധാനമായും ശ്രദ്ധ കേന്ദ്രീകരിച്ചിരിക്കുന്നത് ഒറ്റപ്പെട്ട മോഡലുകളുടെ സുരക്ഷയിലാണ്—അതായത്, ഒരു പ്രത്യേക LLM വിഷലിപ്തമായ ഉള്ളടക്കം പുറത്തുവിടുന്നില്ലെന്നും ദുരുദ്ദേശ്യപരമായ നിർദ്ദേശങ്ങൾ (malicious prompts) പാലിക്കുന്നില്ലെന്നും ഉറപ്പാക്കുക എന്നതാണ് ഇതിന്റെ ലക്ഷ്യം. എന്നാൽ, യഥാർത്ഥ വെല്ലുവിളി "മൾട്ടി-ഏജന്റ് സിസ്റ്റങ്ങളിൽ" (multi-agent systems) ആണെന്ന് Google DeepMind-ഉം അതിന്റെ പങ്കാളികളും തിരിച്ചറിയുന്നു.

വലിയൊരു വിഭാഗം ഏജന്റുകൾ സാമ്പത്തിക വ്യവസ്ഥയിൽ വ്യാപകമായി ഉപയോഗിക്കപ്പെടുമ്പോൾ, അവ സങ്കീർണ്ണമായ ഒരു ആവാസവ്യവസ്ഥ സൃഷ്ടിക്കുന്നു. ഇവിടെ ഇവയുടെ കൂട്ടായ പെരുമാറ്റം ഓരോ ഏജന്റുകളുടെയും വ്യക്തിഗത പെരുമാറ്റത്തിൽ നിന്ന് തികച്ചും വ്യത്യസ്തമായിരിക്കാം. ഈ "ഏജന്റ് ഹൈവ് മൈൻഡ്" (agent hive mind) പുതിയൊരു ബുദ്ധിശക്തിയായി മാറാനോ, അല്ലെങ്കിൽ കൂടുതൽ ഭയാനകമായ രീതിയിൽ അരാജകത്വത്തിലേക്ക് നയിക്കാനോ സാധ്യതയുണ്ട്. ഒറ്റപ്പെട്ട മോഡലുകളെ പഠിക്കുന്നതിലൂടെ ഇത്തരം ഫലങ്ങൾ പ്രവചിക്കാൻ കഴിയില്ലെന്ന് വിദഗ്ധർ മുന്നറിയിപ്പ് നൽകുന്നു; പകരം, ഏജന്റുകൾ ഡിജിറ്റൽ സാൻഡ്ബോക്സുകളിൽ എങ്ങനെ ഇടപഴകുന്നുവെന്നും മത്സരിക്കുന്നുവെന്നും അവിചാരിതമായി സഹകരിക്കുന്നുവെന്നും നിരീക്ഷിക്കാൻ ഗവേഷകർ യഥാർത്ഥമായ, വലിയ തോതിലുള്ള സിമുലേഷനുകൾ (simulations) ഉപയോഗിക്കണം.

അക്കാദമിക് ഗവേഷണത്തിനായി 10 മില്യൺ ഡോളറിന്റെ കൂട്ടായ്മ

ഈ വിടവ് നികത്തുന്നതിനായി, ഗവേഷകർക്ക് 10 മില്യൺ ഡോളർ ഫണ്ട് നൽകുന്നതിനായി Google DeepMind ഒരു ശക്തമായ കൂട്ടായ്മ രൂപീകരിച്ചിട്ടുണ്ട്. ഈ പങ്കാളിത്തത്തിൽ Schmidt Sciences (എറിക് ആൻഡ് വെൻഡി ഷമിറ്റ് നയിക്കുന്ന ഒരു ചാരിറ്റബിൾ ഫൗണ്ടേഷൻ), ARIA (യുകെ ഗവൺമെന്റിന്റെ മൂൺഷോട്ട് ഏജൻസി), Cooperative AI ഫൗണ്ടേഷൻ, Google.org എന്നിവ ഉൾപ്പെടുന്നു.

ഗവേഷണങ്ങളെ വലിയ ടെക് കമ്പനികളുടെ ലാബുകളിൽ നിന്ന് അക്കാദമിക് മേഖലകളിലേക്ക് എത്തിക്കുക എന്നതാണ് ഇതിന്റെ തന്ത്രപരമായ ലക്ഷ്യം. Google, Anthropic തുടങ്ങിയ വ്യവസായ വക്താക്കൾ സാങ്കേതികവിദ്യ വികസിപ്പിക്കുമ്പോൾ, ഭാവിയിലേക്ക് ദീർഘവീക്ഷണത്തോടെ നോക്കാനും വാണിജ്യ ഉൽപ്പന്നങ്ങളുടെ മുൻഗണനകളിൽ ഇല്ലാത്ത ദീർഘകാല വ്യവസ്ഥാപിത അപകടസാധ്യതകൾ അന്വേഷിക്കാനും അക്കാദമിക് ഗവേഷകർക്ക് സ്വാതന്ത്ര്യമുണ്ട്. നിലവിൽ നിലവിലില്ലാത്ത "മൾട്ടി-ഏജന്റ് സേഫ്റ്റി" (multi-agent safety) എന്ന അടിസ്ഥാന മേഖല കെട്ടിപ്പടുക്കുക എന്നതാണ് ഈ ഫണ്ടിംഗിന്റെ ലക്ഷ്യം.

പ്രോംപ്റ്റ് ഇൻജക്ഷനുകൾ മുതൽ ഡിജിറ്റൽ അരാജകത്വം വരെ

മൾട്ടി-ഏജന്റ് സിസ്റ്റങ്ങളുമായി ബന്ധപ്പെട്ട അപകടസാധ്യതകൾ കേവലം സൈദ്ധാന്തികമല്ല; അവ നിലവിലുള്ള സൈബർ സുരക്ഷാ ഭീഷണികളുടെ കൂടുതൽ ശക്തമായ രൂപങ്ങളാണ്. പ്രധാന ആശങ്കകൾ ഇവയാണ്:

• Advanced Prompt Injections: An agent could be "hijacked" by a single malicious sentence buried in a document, turning a helpful assistant into self-guided malware.
• Automated Scams and Cyberattacks: Agents capable of reasoning and improvisation can execute complex, multi-step social engineering or hacking attempts at scale.
• Systemic Instability: Just as human institutions can cause unforeseen economic shifts, a massive deployment of autonomous agents could lead to digital "anarchy" or market instability.

Unlike traditional software, which follows fixed paths written by humans, AI agents reason and improvise. This unpredictability necessitates a shift toward "zero trust" frameworks—an approach championed by Anthropic—where every agent is treated as a potential vulnerability.

Key Takeaways

• New Funding Initiative: Google DeepMind and partners have committed $10 million to fund academic research into the unpredictable behaviors of interacting AI agents.
• Emergent Risks: The primary concern is that millions of autonomous agents could create systemic risks, such as automated cyberattacks and "hive mind" behaviors, that cannot be predicted by testing single models.
• Shift in Security Paradigms: As agents move from fixed software to reasoning entities, the industry is shifting toward "zero trust" models to mitigate the risks of hijacking and prompt injection.