મલ્ટી-એજન્ટ AI સુરક્ષા જોખમોને ઉકેલવા માટે Google DeepMind $10M ના ફંડને સમર્થન આપે છે

જેમ જેમ AI એજન્ટો સાદા ચેટબોટ્સથી લઈને જટિલ કાર્યો કરવા સક્ષમ સ્વાયત્ત એકમો તરીકે વિકસી રહ્યા છે, તેમ તેમ પ્રણાલીગત જોખમનું એક નવું ક્ષેત્ર ઉભરી રહ્યું છે. Google DeepMind અને અનેક વૈશ્વિક ભાગીદારોએ જ્યારે લાખો એવા સ્વાયત્ત એજન્ટો વાસ્તવિક દુનિયામાં એકબીજા સાથે સંપર્ક કરવાનું શરૂ કરે ત્યારે ઉદ્ભવતા અનિશ્ચિત વર્તણૂકોનો અભ્યાસ કરવા માટે એક વિશાળ પહેલ શરૂ કરી છે.

મલ્ટી-એજન્ટ સમસ્યા: વ્યક્તિગત મોડલ સુરક્ષાથી પર

વર્તમાન AI યુગના મોટાભાગના સમયમાં, સંશોધન સિંગલ મોડલ્સની સુરક્ષા પર કેન્દ્રિત રહ્યું છે—એ સુનિશ્ચિત કરવું કે કોઈ ચોક્કસ LLM ઝેરી સામગ્રી ન આપે અથવા દૂષિત પ્રોમ્પ્ટ્સનું પાલન ન કરે. જોકે, Google DeepMind અને તેના ભાગીદારો સ્વીકારે છે કે સાચી પડકાર "મલ્ટી-એજન્ટ સિસ્ટમ્સ" માં રહેલો છે.

જ્યારે અર્થતંત્રમાં મોટી સંખ્યામાં એજન્ટો તૈનાત કરવામાં આવે છે, ત્યારે તેઓ એક જટિલ ઇકોસિસ્ટમ બનાવે છે જ્યાં સામૂહિક વર્તણૂક તેના ભાગોના સરવાળા કરતા તદ્દન અલગ હોઈ શકે છે. આ "એજન્ટ હાઇવ માઇન્ડ" સંભવિત રીતે ઉભરતી બુદ્ધિ અથવા, વધુ આઘાતજનક રીતે, ઉભરતા અરાજકતા તરફ દોરી શકે છે. નિષ્ણાતો ચેતવણી આપે છે કે આપણે અલગ પડેલા મોડલ્સનો અભ્યાસ કરીને આ પરિણામોની આગાહી કરી શકતા નથી; તેના બદલે, સંશોધકોએ એજન્ટો ડિજિટલ સેન્ડબોક્સમાં કેવી રીતે આંતરક્રિયા કરે છે, સ્પર્ધા કરે છે અથવા અજાણતા સહયોગ કરે છે તે જોવા માટે વાસ્તવિક, મોટા પાયે સિમ્યુલેશનનો ઉપયોગ કરવો જોઈએ.

શૈક્ષણિક સંશોધન માટે $10 મિલિયનનું ગઠબંધન

આ ખામીને દૂર કરવા માટે, Google DeepMind એ સંશોધકો માટે $10 મિલિયનનું ભંડોળ પૂરું પાડવા માટે એક શક્તિશાળી ગઠબંધન તૈયાર કર્યું છે. આ ભાગીદારીમાં Schmidt Sciences (એરિક અને વેન્ડી શ્મિટ દ્વારા સંચાલિત એક પરોપકારી ફાઉન્ડેશન), ARIA (UK સરકારની મૂનશોટ એજન્સી), Cooperative AI ફાઉન્ડેશન અને Google.org નો સમાવેશ થાય છે.

વ્યૂહાત્મક ધ્યેય સંશોધનને મોટી ટેક લેબ્સની બહાર અને શૈક્ષણિક ક્ષેત્રમાં લઈ જવાનો છે. જ્યારે Google અને Anthropic જેવા ઉદ્યોગ અગ્રણીઓ ટેકનોલોજી બનાવી રહ્યા છે, ત્યારે શૈક્ષણિક સંશોધકો પાસે ભવિષ્યમાં વધુ ઊંડાણપૂર્વક જોવાની અને લાંબા ગાળાના પ્રણાલીગત જોખમોની તપાસ કરવાની સ્વતંત્રતા છે જે કદાચ વ્યાવસાયિક પ્રોડક્ટ સાયકલ માટે તાત્કાલિક પ્રાથમિકતા ન હોય. આ ભંડોળનો હેતુ "મલ્ટી-એજન્ટ સેફ્ટી" ના પાયાના ક્ષેત્રનું નિર્માણ કરવાનો છે, જે હાલમાં અસ્તિત્વમાં નથી.

પ્રોમ્પ્ટ ઇન્જેક્શનથી લઈને ડિજિટલ અરાજકતા સુધી

મલ્ટી-એજન્ટ સિસ્ટમ્સ સાથે સંકળાયેલા જોખમો માત્ર સૈદ્ધાંતિક નથી; તેઓ હાલના સાયબર સુરક્ષા જોખમોના વધુ શક્તિશાળી સંસ્કરણો છે. મુખ્ય ચિંતાઓમાં શામેલ છે:

• એડવાન્સ્ડ પ્રોમ્પ્ટ ઇન્જેક્શન: કોઈ દસ્તાવેજમાં છુપાયેલું એક જ દૂષિત વાક્ય એજન્ટને "હાઇજેક" કરી શકે છે, જે એક મદદરૂપ સહાયકને સ્વ-માર્ગદર્શિત માલવેરમાં બદલી શકે છે.
• ઓટોમેટેડ સ્કેમ્સ અને સાયબર એટેક્સ: તર્ક અને તાત્કાલિક નિર્ણય લેવાની ક્ષમતા ધરાવતા એજન્ટો મોટા પાયે જટિલ, બહુ-પગલાંવાળા સોશિયલ એન્જિનિયરિંગ અથવા હેકિંગના પ્રયાસો કરી શકે છે.
• સિસ્ટમિક અસ્થિરતા: જે રીતે માનવ સંસ્થાઓ અણધારી આર્થિક ફેરફારો લાવી શકે છે, તેમ સ્વાયત્ત એજન્ટોનો મોટા પાયે ઉપયોગ ડિજિટલ "અરાજકતા" અથવા બજારની અસ્થિરતા તરફ દોરી શકે છે.

પરંપરાગત સોફ્ટવેરથી વિપરીત, જે માનવો દ્વારા લખવામાં આવેલા નિશ્ચિત માર્ગોનું પાલન કરે છે, AI એજન્ટો તર્ક કરે છે અને તાત્કાલિક નિર્ણય લે છે. આ અનિશ્ચિતતા "ઝીરો ટ્રસ્ટ" (zero trust) ફ્રેમવર્ક તરફના પરિવર્તનની જરૂરિયાત ઊભી કરે છે—એક એવો અભિગમ જેનું Anthropic દ્વારા સમર્થન કરવામાં આવ્યું છે—જ્યાં દરેક એજન્ટને સંભવિત નબળાઈ (vulnerability) તરીકે ગણવામાં આવે છે.

મુખ્ય મુદ્દાઓ

• નવી ફંડિંગ પહેલ: Google DeepMind અને ભાગીદારોએ પરસ્પર ક્રિયા કરતા AI એજન્ટોના અનિશ્ચિત વર્તણૂક અંગેના શૈક્ષણિક સંશોધન માટે $10 મિલિયન આપવાનું વચન આપ્યું છે.
• ઉભરતા જોખમો: મુખ્ય ચિંતા એ છે કે લાખો સ્વાયત્ત એજન્ટો સિસ્ટમિક જોખમો પેદા કરી શકે છે, જેમ કે ઓટોમેટેડ સાયબર એટેક અને "હાઇવ માઇન્ડ" (hive mind) વર્તણૂક, જેનું અનુમાન સિંગલ મોડલ્સનું પરીક્ષણ કરીને કરી શકાતું નથી.
• સુરક્ષા પદ્ધતિઓમાં પરિવર્તન: જેમ જેમ એજન્ટો નિશ્ચિત સોફ્ટવેરથી તર્કયુક્ત અસ્તિત્વ તરફ આગળ વધી રહ્યા છે, તેમ ઉદ્યોગ હાઇજેકિંગ અને પ્રોમ્પ્ટ ઇન્જેક્શનના જોખમો ઘટાડવા માટે "ઝીરો ટ્રસ્ટ" મોડલ તરફ વળી રહ્યો છે.