वे एजेंट्स जो वास्तव में शिप होते हैं
एजेंट हाइप साइकिल का एक स्पष्ट उत्तर है। जो टीमें प्रोडक्शन एजेंट्स के साथ जीत रही हैं, वे स्वायत्त झुंड (autonomous swarms) नहीं बनाती हैं। वे बोरिंग सिस्टम बनाती हैं।
मैंने एक महीने तक देखा कि प्रोडक्शन में क्या काम करता है। पैटर्न स्पष्ट है। जो एजेंट्स पैसा कमाते हैं या समय बचाते हैं, उनमें अंतहीन लूप (endless loops) नहीं होते। वे ऑब्जर्वेबल होते हैं। वे बाउंडेड होते हैं। ज़रूरत पड़ने पर वे मानवीय सहायता मांगते हैं।
यह एजेंट प्लेटफॉर्म्स के मूल्यांकन के तरीके को बदल देता है।
प्रोडक्शन में एजेंटों का उपयोग करने वाली टीमें इन पर भरोसा करती हैं:
- मैन्युअल प्रॉम्प्ट कंस्ट्रक्शन
- ऑफ-द-शेल्फ मॉडल्स
- मानवीय हस्तक्षेप से पहले 10 या उससे कम चरणों के साथ बाउंडेड एक्जीक्यूशन
यह इंजीनियरिंग अनुशासन है।
डेमो पूरी स्वायत्तता के साथ सेल्फ-करेक्टिंग एजेंट्स दिखाते हैं। लेकिन जो एजेंट्स वास्तव में शिप होते हैं, वे अलग दिखते हैं। वे स्पष्ट गेट्स (explicit gates) का उपयोग करते हैं।
एक कस्टमर सर्विस एजेंट 5 चरणों को संभालता है और फिर मामला आगे बढ़ा देता है (escalates)। एक कोडिंग एजेंट टेस्ट चलाता है लेकिन बिना रिव्यू के कोड मर्ज नहीं करता। एक डेटा एजेंट क्वेरी चलाने से पहले अनुमति मांगता है। ये ऐसे आर्किटेक्चरल विकल्प हैं जो काम करते हैं।
सफल एजेंट्स संकीर्ण (narrow) और दोहराने योग्य समस्याओं को हल करते हैं। वे रिटर्न संभालते हैं, टिकटों का वर्गीकरण (triage) करते हैं, या अनुपालन (compliance) संबंधी समस्याओं को चिह्नित करते हैं। संकीर्ण दायरे का अर्थ है पूर्वानुमानित विफलताएं और आसान डिबगिंग।
एजेंट्स को शिप करने का सबसे कठिन हिस्सा उन्हें स्मार्ट बनाना नहीं है। बल्कि उन्हें दृश्यमान (visible) और नियंत्रणीय (governable) बनाना है।
टीमें अक्सर इसलिए विफल हो जाती हैं क्योंकि:
- जब एजेंट विफल होता है, तो वे यह नहीं समझा पाते कि उसने क्या किया
- वे खराब परिणाम का पता (trace) नहीं लगा पाते
- वे लागत की सीमाएं (cost boundaries) निर्धारित नहीं कर पाते
- वे टूल अप्रूवल लागू नहीं कर पाते
- वे किसी निर्णय को समझने के लिए सेशन को दोबारा नहीं चला (replay) पाते
ये इंफ्रास्ट्रक्चर की समस्याएं हैं।
यदि आप कोई प्लेटफॉर्म चुनते हैं, तो अपने सवाल बदलें।
- गति (speed) के बारे में न पूछें। पूछें कि क्या आप हर निर्णय और ट्रेस को देख सकते हैं।
- मॉडल सपोर्ट के बारे में न पूछें। पूछें कि क्या आप एक ही स्थान से कई रनटाइम को नियंत्रित कर सकते हैं।
- स्वायत्तता (autonomy) के बारे में न पूछें। पूछें कि ह्यूमन गेट्स (human gates) जोड़ना कितना आसान है।
जीतने वाला इंफ्रास्ट्रक्चर ऑब्जर्वेशन, गवर्नेंस और बाउंडेड ऑटोनॉमी प्रदान करता है। यह एक कंट्रोल प्लेन (control plane) है। यह विश्वसनीय एजेंट्स को उन एजेंट्स से अलग करता है जो रात के 3 बजे प्रोडक्शन को खराब कर देते हैं।
प्रोडक्शन टीमें अब यह नहीं पूछतीं कि क्या वे एजेंट बना सकती हैं। वे पूछती हैं कि उन्हें विश्वसनीय रूप से कैसे संचालित किया जाए।
बोरिंग इंफ्रास्ट्रक्चर ही जीतता है।
Source: https://dev.to/paultwist/the-agents-that-actually-ship-why-boring-beats-autonomous-49li
Optional learning community: https://t.me/GyaanSetuAi