272 विशेषज्ञों ने जोखिमों को बताया। किसी ने तंत्रों (mechanisms) को नहीं बताया।

MIT के एक अध्ययन में 272 वैश्विक विशेषज्ञों का सर्वेक्षण किया गया। उन्होंने AI जोखिमों का विश्लेषण किया। परिणाम स्पष्ट हैं।

24 AI जोखिम क्षेत्रों में से 18 में पांच वर्षों के भीतर विनाशकारी परिणामों की कम से कम 10% संभावना है।

इस संदर्भ में, आपदा (catastrophe) का अर्थ है:

  • दस लाख से अधिक मौतें।
  • $100 बिलियन से अधिक का नुकसान।
  • लोकतांत्रिक मानदंडों का पतन।

सबसे बड़े जोखिम खतरनाक क्षमताएं, प्रतिस्पर्धी गतिशीलता (competitive dynamics), हथियार, शक्ति का केंद्रीकरण और गलत सूचनाएं हैं।

यह अध्ययन जिम्मेदारी के अंतर (responsibility gap) को उजागर करता है। AI जोखिमों से पीड़ित होने वाले लोग जनता हैं। जोखिमों को ठीक करने वाले लोग डेवलपर्स और शासक (governors) हैं। विमानन या परमाणु ऊर्जा जैसे अन्य उद्योगों में, हम इस अंतर को पाटने के लिए अनिवार्य मानकों और उत्तरदायित्व (liability) का उपयोग करते हैं। AI में, ये तंत्र अभी तक मौजूद नहीं हैं।

एक गहरा अंतर भी है। यह उन शोधकर्ताओं और इंजीनियरों के बीच है जो विफलताओं की भविष्यवाणी करते हैं और जो सिस्टम बनाते हैं।

शोधकर्ता शोध पत्र (papers) लिखते हैं। इंजीनियर ब्लॉग पोस्ट और बेंचमार्क पढ़ते हैं। वे एक ही भाषा नहीं बोलते। एक इंजीनियर प्रदर्शन में वृद्धि (performance boost) देखता है। एक शोधकर्ता विनाशकारी जोखिम देखता है। उनके बीच कोई सेतु (bridge) नहीं है।

अध्ययन जोखिमों का नाम तो बताता है, लेकिन उन इंजीनियरिंग विफलताओं का नाम नहीं बताता जो उनका कारण बनती हैं।

उदाहरण के लिए:

  • मल्टी-एजेंट जोखिम (Multi-agent risks): साझा प्रोटोकॉल की कमी से सिस्टम में टकराव (collisions) होता है।
  • प्रतिस्पर्धी गतिशीलता (Competitive dynamics): जल्दबाजी में उत्पाद लॉन्च करने की होड़ के कारण टीमें स्वतंत्र सत्यापन (independent verification) छोड़ देती हैं। इसके बजाय वे स्व-सत्यापन (self-verification) का उपयोग करती हैं, जो तेज़ तो है लेकिन असुरक्षित है।
  • सुरक्षा कमजोरियां (Security vulnerabilities): टीमें कोड स्कैन करने के लिए LLMs का उपयोग करती हैं, लेकिन वे कॉन्फ़िगरेशन और इंफ्रास्ट्रक्चर जोखिमों को नज़रअंदाज़ कर देती हैं।

एक स्थिर सिस्टम के लिए पांच भागों की आवश्यकता होती है:

  • एक टूल (मॉडल)।
  • एक इंजन (घोषित इरादा/declared intent)।
  • एक ट्रांसमिशन (contracts और CI/CD)।
  • एक कंट्रोल यूनिट (एक स्वतंत्र ओरेकल/independent oracle)।
  • एक केसिंग (enforced boundaries)।

अधिकांश AI सिस्टम में कंट्रोल यूनिट और केसिंग की कमी है। वे स्वैच्छिक सुरक्षा उपायों (voluntary guardrails) पर निर्भर करते हैं। जैसे-जैसे मॉडल बेहतर होते जाते हैं, ये सुरक्षा उपाय अक्सर खत्म हो जाते हैं।

उद्योग आपदा की 10% संभावना को एक स्वीकार्य जोखिम मानता है। यह सही नहीं है। डेवलपर्स की स्वैच्छिक कार्रवाई पर्याप्त नहीं है। प्रतिस्पर्धा सुरक्षा चरणों को छोड़ने का प्रोत्साहन पैदा करती है।

हमें केवल सलाह नहीं, बल्कि यांत्रिक प्रवर्तन (mechanical enforcement) की आवश्यकता है। हमें अनुमानित विफलताओं के होने से पहले जोखिम अनुसंधान और इंजीनियरिंग अभ्यास के बीच के अंतर को पाटने की आवश्यकता है।

स्रोत: https://dev.to/bala_paranj_059d338e44e7e/272-experts-named-the-risks-nobody-named-the-mechanisms-4jb

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi