इस हफ्ते आपकी टीम को बेहतर AI मॉडल की ज़रूरत नहीं है
नए AI मॉडल्स की तलाश करना बंद करें। आपको जिस असली अपग्रेड की ज़रूरत है, वह आपका वर्कफ़्लो (workflow) है।
अधिकांश टीमें इस बात पर ध्यान केंद्रित करती हैं कि कौन सा मॉडल अधिक स्मार्ट महसूस होता है। वे नए रिलीज़ का बेंचमार्क लेते हैं और बुद्धिमत्ता (intelligence) पर बहस करते हैं। लेकिन यदि आप LLMs के साथ निर्माण करते हैं, तो आप असली दर्द जानते हैं। समस्या खराब कोड नहीं है। समस्या खराब निष्पादन (execution) है।
आप इन समस्याओं को देखते हैं:
- एजेंट लूप जो किसी कार्य के बीच में ही रुक जाते हैं।
- अप्रूवल प्रॉम्प्ट्स जो लोगों को भ्रमित करते हैं।
- कॉन्टेक्स्ट चेन जो रिट्राइ (retries) के दौरान टूट जाती हैं।
- ऑटोमेशन का स्टेट (state) खो जाने के कारण इंसानों द्वारा सफाई करना।
बुद्धिमत्ता बढ़ रही है, लेकिन परिचालन नियंत्रण (operational control) पीछे छूट रहा है। हम 'ऑर्केस्ट्रेशन टैक्स' (orchestration tax) के युग में प्रवेश कर रहे हैं। यदि आप इसके लिए योजना नहीं बनाते हैं, तो आप आउटेज (outages) और साइलेंट फेलियर (silent failures) के रूप में इसकी कीमत चुकाते हैं।
AI आउटपुट शायद ही कभी अंतिम उत्पाद होता है। यह एक बड़ी प्रणाली में एक मध्यवर्ती चरण है। आपको इन सवालों को हल करना होगा:
- क्या टाइमआउट के बाद कार्य फिर से शुरू हो सकता है?
- क्या हम प्रत्येक अप्रूवल का ऑडिट कर सकते हैं?
- क्या हम डुप्लिकेट कार्यों के बिना चरणों को फिर से चला सकते हैं?
- क्या कोई इंसान बीच में कार्यभार संभाल सकता है?
सीनियर इंजीनियरों ने वर्षों पहले पेमेंट्स और बैकग्राउंड जॉब्स में इन समस्याओं को हल कर लिया था। हमने idempotency keys, checkpoints और transaction logs का उपयोग किया था। AI ने इन समस्याओं को नहीं बनाया है। इसने बस उन्हें तेज़ी से घटित कर दिया है।
अपने निष्पादन अनुबंध (execution contract) को चुनने से पहले मॉडल न चुनें। यह बिना ब्रेक वाली कार के लिए रेसिंग इंजन चुनने जैसा है।
इन चरणों का उपयोग करके एक विश्वसनीय वर्कफ़्लो बनाएं:
AI कार्य को छोटे चरणों में विभाजित करें एक विशाल प्रॉम्प्ट का उपयोग न करें। इसे विभाजित करें: कॉन्टेक्स्ट इकट्ठा करें, बदलाव का प्रस्ताव दें, जाँच करें, अप्रूवल मांगें और बदलाव लागू करें।
ड्यूरेबल स्टोरेज (durable storage) का उपयोग करें स्टेटस, चरणों और प्रयासों की संख्या को ट्रैक करने के लिए डेटाबेस का उपयोग करें। यदि कोई वर्कर क्रैश हो जाता है, तो आप स्टेट (state) से रिकवर करते हैं, मेमोरी से नहीं।
Idempotency लागू करें डेटा बदलने वाले प्रत्येक कार्य के लिए एक स्थिर कुंजी (stable key) की आवश्यकता होती है। यदि कोई चरण दो बार चलता है, तो परिणाम वही रहना चाहिए।
टियर्स (tiers) के साथ अनुमतियों का प्रबंधन करें लगातार अप्रूवल मांगना बंद करें। टियर्स बनाएं:
- टियर 0: केवल पढ़ने वाले कार्य (ऑटो-अप्रूव्ड)।
- टियर 1: कम जोखिम वाले राइट्स (बैच अप्रूवल)।
- टियर 2: उच्च-प्रभाव वाले कार्य (ह्यूमन चेकपॉइंट)।
- परिचालन मेट्रिक्स (operational metrics) को ट्रैक करें केवल लेटेंसी (latency) और लागत को देखना बंद करें। टाइमआउट दर, रिट्राइ सफलता और रोलबैक फ्रीक्वेंसी को ट्रैक करें।
सर्वश्रेष्ठ AI टीमें जादुई प्रॉम्प्ट्स के बारे में डींगें नहीं मारेंगी। वे उबाऊ, टिकाऊ और ऑब्जर्वेबल (observable) पाइपलाइनों को चलाएंगी। उनकी बढ़त मॉडल नहीं है। उनकी बढ़त अनुशासित सिस्टम इंजीनियरिंग है।
Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4
Optional learning community: https://t.me/GyaanSetuAi