ஒரு தயாரிப்பு நிலையில் உள்ள (production) LLM ஏஜென்ட்டின் நினைவகப் பதிவு (memory log), 2 KB கோப்பிலிருந்து 29,446 பைட்டுகளாக அதிகரித்தது. இதனால் ஏஜென்ட் ஒரு முறை இயங்கும்போது வாசிக்கும் டோக்கன்களின் எண்ணிக்கை சுமார் 500-லிருந்து 7,360 ஆக உயர்ந்தது — கண்காணிப்பு டேஷ்போர்டில் (monitoring dashboard) எந்த எச்சரிக்கையும் இன்றித் தோன்றிய ஒரு மறைமுகச் செலவு இது. இந்த ஏஜென்ட்டின் பின்னணியில் உள்ள டெவலப்பர் கூறுகையில், வாசிப்புச் செலவில் (read cost) ஏற்படும் இந்த அமைதியான உயர்வு "ஏஜென்ட் செலவு விலகல்" (agent cost drift) என்பதற்கான ஒரு நேரடி உதாரணம் என்று கூறுகிறார். இது அமைப்பு இயல்பாகச் செயல்படுவது போலத் தோன்றினாலும், பட்ஜெட்டைச் சிதைக்கக்கூடிய ஒரு பிரச்சனையாகும்.

ஏஜென்ட் செலவு விலகல் (agent cost drift) என்றால் என்ன?

ஏஜென்ட் செலவு விலகல் என்பது, ஒரு AI ஏஜென்ட்டின் அன்றாடச் செயல்பாடுகளின் கணக்கீட்டுச் செலவு (computational cost), அந்த ஏஜென்ட்டின் வளர்ந்து வரும் நிலை (growing state) காரணமாக படிப்படியாக அதிகரிப்பதைக் குறிக்கிறது. இந்த உதாரணத்தில், ஏஜென்ட் முந்தைய கட்டுரையின் தலைப்புகளை ஏன் நிராகரித்தது என்பதைப் பதிவு செய்யும் ஒரு வேலை-பதிவு (work-log) கோப்பைப் பராமரிக்கிறது. ஒவ்வொரு புதிய பதிவும் ஒரு விளக்கப் பத்தியைச் சேர்க்கிறது, மேலும் ஏஜென்ட் புதிய உள்ளடக்கத்தை உருவாக்கும் முன் அந்த முழு கோப்பையும் வாசிக்கிறது. இந்த லாக் (log) இருபடி முறையில் (quadratically) விரிவடைவதால் — அதாவது ஒவ்வொரு புதிய பதிவும் அதன் சொந்த நீளத்தை மட்டும் சேர்க்காமல், முந்தைய பதிவுகளையும் குறிப்பிடுவதால் — ஏஜென்ட் உட்கொள்ள வேண்டிய உரையின் அளவு காலப்போக்கில் வேகமாக அதிகரிக்கிறது.

இந்த விலகல் என்பது ஒரு திடீர் உயர்வு அல்லது தோல்வி அல்ல; இது கூட்டுத் தன்மையுடன் (compounds) வளரும் ஒரு நேரியல் வரி (linear tax) போன்றது. ஏஜென்ட் இன்னும் ஒரு நாளைக்கு இரண்டு கட்டுரைகளைத் தயாரிக்கிறது, டேஷ்போர்டில் எந்தப் பிழைகளும் காட்டப்படுபவை இல்லை, இருப்பினும் ஒவ்வொரு முறையும் இப்போது 7,360 டோக்கன்கள் பயன்படுத்தப்படுகின்றன, இது ஒரு மாதத்திற்கு முன்பு இருந்த 500 டோக்கன்களிலிருந்து அதிகம். பெரும்பாலான LLM வழங்குநர்கள் டோக்கன் அடிப்படையில் கட்டணம் வசூலிப்பதால், ஒரு முறை இயங்கும்போது டோக்கன்களின் எண்ணிக்கை அதிகரிப்பது நேரடியாகச் செயல்பாட்டுச் செலவுகளை உயர்த்துகிறது.

இது ஏன் முக்கியமானது

  • பட்ஜெட் பாதிப்பு – டோக்கன் அடிப்படையிலான விலை நிர்ணயம் என்பது ஒவ்வொரு கூடுதல் டோக்கன் வாசிப்பும் செலவு செய்யப்படும் பணத்தைக் குறிக்கிறது. டோக்கன் எண்ணிக்கை 500-லிருந்து 7,360 ஆக அதிகரித்துள்ளது.

மறைந்திருக்கும் செயல்பாடுகள்

கோப்பின் வளர்ச்சி முறைதான் இதில் முக்கியமானது. புதிய பதிவுகளை மட்டும் வரிசையாகச் சேர்க்கும் (append) ஒரு லாக் கோப்பு நேரியல் முறையில் (linearly) வளரும், ஆனால் ஒவ்வொரு பதிவும் முந்தைய நிராகரிப்புகளுக்கான காரணத்தை விளக்குவதால், உரையின் நீளம் கூட்டுத் தன்மையுடன் (compounds) அதிகரிக்கிறது. இதன் விளைவாக ஒரு இருபடி வளர்ச்சி வளைகோடு (quadratic growth curve) உருவாகிறது: பதிவுகளின் எண்ணிக்கையை இருமடங்காக்கினால், கோப்பின் அளவு இரண்டு மடங்குக்கும் அதிகமாக உயர்கிறது, மேலும் அதைச் செயலாக்கத் தேவையான டோக்கன்களின் எண்ணிக்கையும் இன்னும் வேகமாக வளர்கிறது.

ஒவ்வொரு பதிவும் "தனியாகப் பார்க்கும்போது சரியாக இருப்பதால்", டெவலப்பர்கள் இந்த உயரும் செலவைக் கண்டறிவது அரிது. ஏஜென்ட்டின் வெளியீடு சரியாகவே இருக்கிறது, மேலும் லாக் கோப்பு அதன் நோக்கத்தையும் தொடர்ந்து நிறைவேற்றுகிறது, இது இந்தத் திறமையின்மையை மறைத்துவிடுகிறது.

தணிப்பு உத்தி (Mitigation strategy)

டெவலப்பர் லாக் கோப்பை மூன்று பகுதிகளாக மறுசீரமைக்கப் பரிந்துரைக்கிறார்:

  • சமீபத்திய பதிவுகள் கோப்பு (Recent-entry file) – உடனடித் திரும்பத் திரும்பத் வருவதைத் தவிர்க்கத் தேவையான சமீபத்திய சில பதிவுகளை மட்டுமே கொண்ட ஒரு சிறிய, அடிக்கடி வாசிக்கப்படும் கோப்பைப் பராமரித்தல்.
  • சுருக்கமான குறியீடு (Compact index) – பழைய பதிவுகளுக்கான ஒரு வரிச் சுருக்கத்தைச் சேமித்தல். முழுப் பத்திகளையும் எடுக்காமல், தலைப்புத் திரும்பத் திரும்ப வருகிறதா என்பதைச் சரிபார்க்க இந்த குறியீட்டை விரைவாக ஸ்கேன் செய்யலாம்.
  • அகப்படுத்தப்பட்ட முழு உரை (Archived full text) – முழுமையான வரலாற்று விளக்கங்களை ஏஜென்ட் இயல்பான செயல்பாட்டின் போது வாசிக்காத ஒரு தனித் தொகுப்பு கோப்பிற்கு (archive file) மாற்றுதல்.

இந்த அணுகுமுறை தலைப்புத் திரும்பத் திரும்ப வருவதைத் தவிர்க்கும் ஏஜென்ட்டின் திறனைப் பாதுகாப்பதோடு, ஒரு முறை இயங்கும்போது ஏற்படும் டோக்கன் சுமையையும் பெருமளவு குறைக்கிறது.

உங்கள் ஏஜென்ட்களில் செலவு விலகலை எவ்வாறு கண்டறிவது

  1. டோக்கன் வாசிப்புகளைக் கண்காணித்தல் (Instrument token reads) – ஏஜென்ட் இயங்கும் ஒவ்வொரு முறையும் அதன் நினைவகக் கோப்பை (memory file) ஏற்றும்போது பயன்படுத்தும் டோக்கன்களின் எண்ணிக்கையைப் பதிவு செய்யவும்.
  2. காலப்போக்கில் கண்காணித்தல் (Track over time) – இன்றைய டோக்கன் எண்ணிக்கையை ஒரு வாரம் அல்லது ஒரு மாதத்திற்கு முன்பு இருந்த எண்ணிக்கையுடன் ஒப்பிட்டுப் பார்க்கவும். நிலையான மேல்நோக்கிய போக்கு (upward trend) விலகலைக் குறிக்கிறது.

கோப்பு பிழையின்றி ஏற்றப்படுவதை மட்டும் சரிபார்ப்பது போதுமானதல்ல; அந்த ஏற்றத்தின் (load) செலவை நீங்கள் அளவிட வேண்டும்.

அடுத்து கவனிக்க வேண்டியவை

ஏஜென்ட் செலவு விலகல் என்பது உங்கள் AI பட்ஜெட்டை அமைதியாக அரிக்கும் ஒரு கண்ணுக்குத் தெரியாத வரி. ஏஜென்ட்டின் நினைவகக் கோப்பை ஒரு செலவு மையமாக (cost center) கருதுவதன் மூலம் — அதாவது டோக்கன் வாசிப்புகளை அளவிடுதல், வளர்ச்சி வளைகோடுகளைக் கவனித்தல் மற்றும் லாக் கோப்புகளை மறுசீரமைத்தல் — நீங்கள் இந்த வரியைக் குறைவாகவும், வெளியீட்டைத் துல்லியமாகவும் வைத்திருக்க முடியும்.

Source: https://dev.to/enjoy_kumawat/i-measured-what-my-agents-own-memory-file-costs-to-read-the-number-only-goes-up-46ob

Join the discussion: https://t.me/GyaanSetuAi