एक प्रोडक्शन LLM एजेंट का मेमोरी लॉग 2 KB की फ़ाइल से बढ़कर 29,446 बाइट्स हो गया, जिससे एजेंट द्वारा पढ़े जाने वाले टोकन की संख्या प्रति रन लगभग 500 से बढ़कर 7,360 हो गई — यह एक छिपा हुआ खर्च है जो मॉनिटरिंग डैशबोर्ड पर बिना किसी अलर्ट के सामने आया। एजेंट के पीछे के डेवलपर का कहना है कि पढ़ने की लागत (read cost) में यह चुपचाप होने वाली वृद्धि "एजेंट कॉस्ट ड्रिफ्ट" (agent cost drift) का एक ठोस उदाहरण है, एक ऐसी समस्या जो बजट को खत्म कर सकती है, भले ही सिस्टम सामान्य रूप से काम करता हुआ दिखाई दे।
एजेंट कॉस्ट ड्रिफ्ट क्या है?
एजेंट कॉस्ट ड्रिफ्ट एक AI एजेंट के नियमित कार्यों की कम्प्यूटेशनल लागत (computational cost) में होने वाली क्रमिक वृद्धि को दर्शाता है, जो एजेंट की अपनी बढ़ती हुई 'स्टेट' (state) के कारण होती है। उदाहरण में, एजेंट एक वर्क-लॉग फ़ाइल बनाए रखता है जो यह रिकॉर्ड करती है कि उसने पिछले लेखों के विषयों को क्यों खारिज किया। प्रत्येक नई प्रविष्टि (entry) तर्क का एक पैराग्राफ जोड़ती है, और एजेंट द्वारा नया कंटेंट जेनरेट करने से पहले पूरी फ़ाइल पढ़ी जाती है। चूंकि लॉग का विस्तार द्विघातीय (quadratically) रूप से होता है—प्रत्येक प्रविष्टि न केवल अपनी लंबाई जोड़ती है बल्कि पिछली प्रविष्टियों का संदर्भ भी देती है—इसलिए एजेंट को जो टेक्स्ट पढ़ना पड़ता है, उसकी मात्रा समय के साथ तेजी से बढ़ती जाती है।
यह ड्रिफ्ट कोई अचानक उछाल या विफलता नहीं है; यह एक रैखिक टैक्स (linear tax) है जो चक्रवृद्धि (compounds) रूप से बढ़ता है। एजेंट अभी भी दिन में दो लेख तैयार करता है, और डैशबोर्ड में कोई त्रुटि नहीं दिखती है, फिर भी प्रत्येक रन अब 7,360 टोकन की खपत करता है, जो एक महीने पहले लगभग 500 था। चूंकि अधिकांश LLM प्रदाता प्रति टोकन शुल्क लेते हैं, इसलिए प्रति रन टोकन में वृद्धि सीधे उच्च परिचालन लागत (operating costs) में बदल जाती है।
यह क्यों महत्वपूर्ण है
- बजट पर प्रभाव – टोकन-आधारित मूल्य निर्धारण का अर्थ है कि पढ़ा गया प्रत्येक अतिरिक्त टोकन खर्च किया गया पैसा है। टोकन की संख्या 500 से बढ़कर 7,360 हो गई।
छिपी हुई कार्यप्रणाली
फ़ाइल के बढ़ने का पैटर्न ही मुख्य कारण है। एक लाइन-बाय-लाइन लॉग जो केवल नई प्रविष्टियाँ जोड़ता है, वह रैखिक रूप से बढ़ेगा, लेकिन चूंकि प्रत्येक प्रविष्टि पिछली अस्वीकृतियों के पीछे के तर्क को समझाती है, इसलिए टेक्स्ट की लंबाई चक्रवृद्धि रूप से बढ़ती है। इसका परिणाम एक द्विघातीय विकास वक्र (quadratic growth curve) है: प्रविष्टियों की संख्या दोगुनी करने पर फ़ाइल का आकार दोगुने से अधिक बढ़ जाता है, और इसे प्रोसेस करने के लिए आवश्यक टोकन की संख्या और भी तेजी से बढ़ती है।
डेवलपर्स शायद ही कभी बढ़ती लागत को पकड़ पाते हैं क्योंकि प्रत्येक प्रविष्टि "अपने आप में तर्कसंगत" लगती है। एजेंट का आउटपुट सही रहता है, और लॉग अपना उद्देश्य पूरा करना जारी रखता है, जिससे अक्षमता छिप जाती है।
शमन रणनीति
डेवलपर लॉग के तीन-भागों वाले पुनर्गठन का प्रस्ताव देता है:
- हालिया-प्रविष्टि फ़ाइल (Recent-entry file) – एक छोटी, सक्रिय रूप से पढ़ी जाने वाली फ़ाइल रखें जिसमें केवल नवीनतम कुछ प्रविष्टियाँ हों, ताकि तत्काल दोहराव से बचा जा सके।
- कॉम्पैक्ट इंडेक्स (Compact index) – पुरानी प्रविष्टियों के लिए एक-लाइन का सारांश स्टोर करें। पूरे पैराग्राफ को पढ़े बिना विषय की पुनरावृत्ति की जांच करने के लिए इंडेक्स को जल्दी से स्कैन किया जा सकता है।
- आर्काइव किया गया पूर्ण टेक्स्ट (Archived full text) – संपूर्ण ऐतिहासिक तर्क को एक अलग आर्काइव फ़ाइल में ले जाएँ जिसे एजेंट सामान्य संचालन के दौरान नहीं पढ़ता है।
यह दृष्टिकोण प्रति रन टोकन लोड को नाटकीय रूप से कम करते हुए विषय की पुनरावृत्ति से बचने की एजेंट की क्षमता को बनाए रखता है।
अपने एजेंटों में कॉस्ट ड्रिफ्ट का पता कैसे लगाएं
- टोकन रीड को ट्रैक करें (Instrument token reads) – हर बार जब एजेंट अपनी मेमोरी फ़ाइल लोड करता है, तो उसके द्वारा खपत किए गए टोकन की संख्या रिकॉर्ड करें।
- समय के साथ ट्रैक करें – आज की टोकन संख्या की तुलना एक सप्ताह या महीने पहले की संख्या से करें। एक निरंतर ऊपर की ओर बढ़ता रुझान (trend) ड्रिफ्ट का संकेत देता है।
केवल यह सत्यापित करना कि फ़ाइल अभी भी बिना किसी त्रुटि के लोड हो रही है, पर्याप्त नहीं है; आपको उस लोड की लागत को मापना होगा।
आगे क्या देखें
एजेंट कॉस्ट ड्रिफ्ट एक अदृश्य टैक्स है जो चुपचाप आपके AI बजट को खा सकता है। एजेंट की मेमोरी फ़ाइल को एक 'कॉस्ट सेंटर' के रूप में मानकर—टोकन रीड को मापना, विकास वक्रों (growth curves) पर नज़र रखना और लॉग को पुनर्गठित करना—आप टैक्स को कम और आउटपुट को सटीक रख सकते हैं।
Join the discussion: https://t.me/GyaanSetuAi