एका प्रोडक्शन LLM एजंटचा मेमरी लॉग २ KB च्या फाईलपासून २९,४४६ bytes पर्यंत वाढला, ज्यामुळे एजंट वाचत असलेल्या टोकनची संख्या एका रनसाठी सुमारे ५०० वरून ७,३६० पर्यंत पोहोचली — हा एक छुपा खर्च होता जो मॉनिटरिंग डॅशबोर्डवर कोणत्याही अलर्टशिवाय दिसून आला. एजंटच्या डेव्हलपरच्या मते, वाचण्याच्या खर्चातील ही शांत वाढ ही “agent cost drift” चे एक ठोस उदाहरण आहे, ही अशी समस्या आहे जी सिस्टम सामान्यपणे काम करत असल्याचे दिसत असतानाही बजेट कमी करू शकते.

agent cost drift म्हणजे काय?

Agent cost drift म्हणजे AI एजंटच्या नियमित कामकाजाच्या संगणकीय खर्चात (computational cost) होणारी हळूहळू वाढ, जी एजंटच्या स्वतःच्या वाढत्या स्टेटमुळे (state) होते. या उदाहरणात, एजंट एक वर्क-लॉग फाईल ठेवतो ज्यामध्ये त्याने मागील आर्टिकल टॉपिक्स का नाकारले याचे रेकॉर्ड असते. प्रत्येक नवीन एन्ट्री तर्कसंगत स्पष्टीकरणाचा एक परिच्छेद जोडते आणि एजंट नवीन कंटेंट तयार करण्यापूर्वी ती फाईल पूर्णपणे वाचतो. कारण लॉगचा विस्तार वर्गप्रमाणात (quadratically) होतो — प्रत्येक एन्ट्री केवळ स्वतःची लांबी वाढवत नाही तर आधीच्या एन्ट्रींचा संदर्भ देखील देते — एजंटला वाचायचा लागणारा मजकूर काळानुसार वेगाने वाढतो.

ही वाढ (drift) कोणताही अचानक झालेला स्फोट किंवा बिघाड नाही; तो एक चक्रवाढ (compounds) लागणारा कर आहे. एजंट अजूनही दिवसाला दोन आर्टिकल्स तयार करतो आणि डॅशबोर्डवर कोणतीही त्रुटी दिसत नाही, तरीही प्रत्येक रनमध्ये आता ७,३६० टोकन्स खर्च होतात, जे महिनाभरापूर्वी सुमारे ५०० होते. बहुतेक LLM प्रोव्हायडर्स टोकननुसार शुल्क आकारत असल्याने, प्रति रन टोकन्समधील वाढ थेट ऑपरेटिंग खर्चात रूपांतरित होते.

हे का महत्त्वाचे आहे

  • बजेटवर परिणाम – टोकन-आधारित किंमत म्हणजे वाचलेला प्रत्येक अतिरिक्त टोकन म्हणजे खर्च झालेला पैसा. टोकनची संख्या ५०० वरून ७,३६० पर्यंत वाढली.

छुपे तंत्र (The hidden mechanics)

फाईलच्या वाढीचे स्वरूप महत्त्वाचे आहे. केवळ नवीन एन्ट्री जोडणारी लाईन-बाय-लाईन लॉग वेगाने वाढणार नाही, परंतु प्रत्येक एन्ट्री मागील नकारमागील तर्क स्पष्ट करत असल्याने, मजकुराची लांबी चक्रवाढ पद्धतीने वाढते. याचा परिणाम वर्गप्रमाणात वाढणाऱ्या वक्रामध्ये (quadratic growth curve) होतो: एन्ट्रींची संख्या दुप्पट केल्यास फाईलचा आकार दुप्पट होण्यापेक्षा जास्त वाढतो आणि ती प्रोसेस करण्यासाठी लागणारी टोकन संख्या त्याहूनही वेगाने वाढते.

डेव्हलपर्सना वाढणारा खर्च क्वचितच लक्षात येतो कारण प्रत्येक एन्ट्री "स्वतःमध्ये अर्थपूर्ण" असते. एजंटचे आउटपुट बरोबर राहते आणि लॉग आपला उद्देश पूर्ण करत राहतो, ज्यामुळे ही अकार्यक्षमता लपली राहते.

शमन धोरण (Mitigation strategy)

डेव्हलपर लॉगच्या तीन भागांत पुनर्रचनेचा प्रस्ताव देतो:

  • अलीकडील एन्ट्री फाईल (Recent-entry file) – एक लहान, सक्रियपणे वाचली जाणारी फाईल ठेवा ज्यामध्ये केवळ शेवटच्या काही एन्ट्री असतील, जेणेकरून तात्काळ पुनरावृत्ती टाळता येईल.
  • कॉम्पॅक्ट इंडेक्स (Compact index) – जुन्या एन्ट्रींसाठी एक ओळीचा सारांश साठवा. पूर्ण परिच्छेद न वाचता विषयाची पुनरावृत्ती तपासण्यासाठी इंडेक्स वेगाने स्कॅन केला जाऊ शकतो.
  • आर्काइव्ह केलेला पूर्ण मजकूर (Archived full text) – संपूर्ण ऐतिहासिक तर्क एका वेगळ्या आर्काइव्ह फाईलमध्ये हलवा जी एजंट सामान्य कामकाजादरम्यान वाचणार नाही.

हा दृष्टिकोन विषयाची पुनरावृत्ती टाळण्याची एजंटची क्षमता कायम ठेवतो आणि प्रति रन टोकनचा भार लक्षणीयरीत्या कमी करतो.

तुमच्या एजंट्समध्ये कॉस्ट ड्रिफ्ट कसा शोधायचा

  1. टोकन रीड्स मोजा (Instrument token reads) – प्रत्येक वेळी रन होताना मेमरी फाईल लोड करताना एजंट किती टोकन्स वापरतो याची नोंद ठेवा.
  2. काळाच्या ओघात ट्रॅक करा – आजची टोकन संख्या एक आठवडा किंवा महिनाभरापूर्वीच्या संख्येसोबत तुलना करा. सतत वाढता कल (upward trend) ड्रिफ्टचे संकेत देतो.

फाईल अजूनही त्रुटीशिवाय लोड होतेय हे तपासणे पुरेसे नाही; तुम्हाला त्या लोडचा खर्च मोजावा लागेल.

पुढे काय पाहावे

Agent cost drift हा एक अदृश्य कर आहे जो तुमच्या AI बजेटला शांतपणे पोखरू शकतो. एजंटच्या मेमरी फाईलकडे एक 'कॉस्ट सेंटर' म्हणून वागून—टोकन रीड्स मोजून, वाढीचे वक्र पाहून आणि लॉगची पुनर्रचना करून—तुम्ही हा कर कमी ठेवू शकता आणि आउटपुट अचूक ठेवू शकता.

स्रोत: https://dev.to/enjoy_kumawat/i-measured-what-my-agents-own-memory-file-costs-to-read-the-number-only-goes-up-46ob

चर्चा मध्ये सामील व्हा: https://t.me/GyaanSetuAi