ഒരു പ്രൊഡക്ഷൻ LLM ഏജന്റിന്റെ മെമ്മറി ലോഗ് 2 KB ഫയലിൽ നിന്ന് 29,446 ബൈറ്റുകളായി വർദ്ധിച്ചു. ഇത് ഏജന്റ് വായിക്കുന്ന ടോക്കൺ എണ്ണം ഒരു റണ്ണിൽ ഏകദേശം 500-ൽ നിന്ന് 7,360 ആയി ഉയർത്തി — മോണിറ്ററിംഗ് ഡാഷ്‌ബോർഡിൽ യാതൊരു മുന്നറിയിപ്പും ഇല്ലാതെ വന്ന ഈ മറഞ്ഞിരിക്കുന്ന ചിലവ് "ഏജന്റ് കോസ്റ്റ് ഡ്രിഫ്റ്റ്" (agent cost drift) എന്നറിയപ്പെടുന്നു. ഏജന്റിന്റെ പിന്നിലെ ഡെവലപ്പർ പറയുന്നത്, ഈ നിശബ്ദമായ റീഡ് കോസ്റ്റ് വർദ്ധനവ് "ഏജന്റ് കോസ്റ്റ് ഡ്രിഫ്റ്റിന്റെ" ഒരു വ്യക്തമായ ഉദാഹരണമാണെന്നാണ്; സിസ്റ്റം സാധാരണ നിലയിൽ പ്രവർത്തിക്കുന്നതായി തോന്നിയാൽ പോലും ബജറ്റുകളെ ഇത് ബാധിച്ചേക്കാം.

എന്താണ് ഏജന്റ് കോസ്റ്റ് ഡ്രിഫ്റ്റ്?

ഏജന്റിന്റെ സ്വന്തം വളരുന്ന അവസ്ഥ (growing state) കാരണം, ഒരു AI ഏജന്റിന്റെ പതിവ് പ്രവർത്തനങ്ങളുടെ കമ്പ്യൂട്ടേഷണൽ ചിലവ് ക്രമേണ വർദ്ധിക്കുന്നതിനെയാണ് ഏജന്റ് കോസ്റ്റ് ഡ്രിഫ്റ്റ് എന്ന് പറയുന്നത്. ഈ ഉദാഹരണത്തിൽ, ഏജന്റ് മുൻപ് നിരസിച്ച ലേഖന വിഷയങ്ങൾ എന്തുകൊണ്ടെന്ന് രേഖപ്പെടുത്തുന്ന ഒരു വർക്ക്-ലോഗ് ഫയൽ സൂക്ഷിക്കുന്നു. ഓരോ പുതിയ എൻട്രിയും ഒരു ഖണ്ഡിക വീതം കൂട്ടിച്ചേർക്കുന്നു, ഏജന്റ് പുതിയ ഉള്ളടക്കം നിർമ്മിക്കുന്നതിന് മുമ്പ് ഈ ഫയൽ പൂർണ്ണമായും വായിക്കുന്നു. ലോഗ് ക്വാഡ്രാറ്റിക് രീതിയിൽ (quadratically) വികസിക്കുന്നത് കൊണ്ട്—ഓരോ എൻട്രിയും അതിന്റെ നീളം കൂട്ടുക മാത്രമല്ല, മുൻപത്തെ എൻട്രികളെയും പരാമർശിക്കുകയും ചെയ്യുന്നു—ഏജന്റ് വായിക്കേണ്ട ടെക്സ്റ്റിന്റെ അളവ് കാലക്രമേണ വേഗത്തിൽ വർദ്ധിക്കുന്നു.

ഈ ഡ്രിഫ്റ്റ് ഒരു പെട്ടെന്നുള്ള വർദ്ധനവോ പരാജയമോ അല്ല; മറിച്ച് അത് ക്രമമായി വർദ്ധിച്ചുകൊണ്ടിരിക്കുന്ന ഒരു നികുതി പോലെയാണ്. ഏജന്റ് ഇപ്പോഴും ദിവസം രണ്ട് ലേഖനങ്ങൾ നിർമ്മിക്കുന്നുണ്ട്, ഡാഷ്‌ബോർഡിൽ പിശകുകളും കാണിക്കുന്നില്ല, എന്നിരുന്നാലും ഓരോ റണ്ണിലും ഇപ്പോൾ 7,360 ടോക്കണുകൾ ഉപയോഗിക്കുന്നു, ഇത് ഒരു മാസം മുമ്പ് ഉണ്ടായിരുന്ന ഏകദേശം 500 ടോക്കണുകളിൽ നിന്നാണ് വർദ്ധിച്ചത്. മിക്ക LLM പ്രൊവൈഡർമാരും ടോക്കൺ അടിസ്ഥാനത്തിലാണ് ചാർജ് ചെയ്യുന്നത് എന്നതിനാൽ, ഓരോ റണ്ണിലുമുള്ള ടോക്കണുകളുടെ വർദ്ധനവ് നേരിട്ട് പ്രവർത്തനച്ചിലവ് വർദ്ധിപ്പിക്കുന്നു.

എന്തുകൊണ്ട് ഇത് പ്രധാനമാണ്

  • ബജറ്റിലുണ്ടാകുന്ന ആഘാതം – ടോക്കൺ അടിസ്ഥാനത്തിലുള്ള വിലനിർണ്ണയം എന്നാൽ ഓരോ അധിക ടോക്കൺ വായിക്കുമ്പോഴും പണം ചിലവാകുന്നു എന്നാണ് അർത്ഥം. ടോക്കൺ എണ്ണം 500-ൽ നിന്ന് 7,360 ആയി വർദ്ധിച്ചു.

മറഞ്ഞിരിക്കുന്ന പ്രവർത്തനരീതികൾ

ഫയലിന്റെ വളർച്ചാ രീതിയാണ് ഇതിന്റെ പ്രധാന ഘടകം. പുതിയ എൻട്രികൾ മാത്രം ചേർക്കുന്ന ഒരു ലോഗ് രേഖകൾ ക്രമമായി (linearly) വർദ്ധിക്കും, എന്നാൽ ഓരോ എൻട്രിയും മുൻപത്തെ നിരസിക്കലുകളുടെ കാരണം വിശദീകരിക്കുന്നത് കൊണ്ട് ടെക്സ്റ്റ് ദൈർഘ്യം വർദ്ധിച്ചുകൊണ്ടിരിക്കുന്നു. ഇതിന്റെ ഫലമായി ഒരു ക്വാഡ്രാറ്റിക് വളർച്ചാ വക്രം (quadratic growth curve) ഉണ്ടാകുന്നു: എൻട്രികളുടെ എണ്ണം ഇരട്ടിയാകുമ്പോൾ ഫയൽ വലിപ്പം അതിലധികമായി വർദ്ധിക്കുന്നു, അത് പ്രോസസ്സ് ചെയ്യാൻ ആവശ്യമായ ടോക്കൺ എണ്ണവും അതിലും വേഗത്തിൽ വളരുന്നു.

ഓരോ എൻട്രിയും "സ്വയം ശരിയാണെന്ന് തോന്നുന്നതുകൊണ്ട്" ഡെവലപ്പർമാർ ഈ വർദ്ധിച്ചുവരുന്ന ചിലവ് ശ്രദ്ധിക്കാറില്ല. ഏജന്റിന്റെ ഔട്ട്പുട്ട് ശരിയായി തുടരുന്നു, ലോഗ് അതിന്റെ ലക്ഷ്യം നിറവേറ്റുകയും ചെയ്യുന്നു, ഇത് ഈ കാര്യക്ഷമതയില്ലായ്മയെ മറച്ചുവെക്കുന്നു.

ലഘൂകരണ തന്ത്രങ്ങൾ (Mitigation strategy)

ഡെവലപ്പർ ലോഗിന്റെ മൂന്ന് ഭാഗങ്ങളുള്ള പുനഃക്രമീകരണം നിർദ്ദേശിക്കുന്നു:

  • സമീപകാല എൻട്രികൾ അടങ്ങിയ ഫയൽ (Recent-entry file) – ആവർത്തനങ്ങൾ ഒഴിവാക്കാൻ ആവശ്യമായ ഏറ്റവും പുതിയ കുറച്ച് എൻട്രികൾ മാത്രം അടങ്ങിയ ചെറിയൊരു ഫയൽ സൂക്ഷിക്കുക.
  • കോംപാക്റ്റ് ഇൻഡക്സ് (Compact index) – പഴയ എൻട്രികൾക്കായി ഒരു വരി സംഗ്രഹം (one-line summary) സൂക്ഷിക്കുക. മുഴുവൻ ഖണ്ഡികകളും എടുക്കാതെ തന്നെ വിഷയങ്ങളുടെ ആവർത്തനം പരിശോധിക്കാൻ ഈ ഇൻഡക്സ് വേഗത്തിൽ സ്കാൻ ചെയ്യാം.
  • ആർക്കൈവ് ചെയ്ത പൂർണ്ണ ടെക്സ്റ്റ് (Archived full text) – പൂർണ്ണമായ ചരിത്രപരമായ വിവരങ്ങൾ ഏജന്റ് സാധാരണ പ്രവർത്തനസമയത്ത് വായിക്കാത്ത ഒരു പ്രത്യേക ആർക്കൈവ് ഫയലിലേക്ക് മാറ്റുക.

ഈ സമീപനം ഏജന്റിന്റെ വിഷയം ആവർത്തിക്കാതിരിക്കാനുള്ള കഴിവിനെ നിലനിർത്തുന്നതോടൊപ്പം ഓരോ റണ്ണിലുമുള്ള ടോക്കൺ ലോഡ് ഗണ്യമായി കുറയ്ക്കുകയും ചെയ്യുന്നു.

നിങ്ങളുടെ ഏജന്റുകളിൽ കോസ്റ്റ് ഡ്രിഫ്റ്റ് എങ്ങനെ കണ്ടെത്താം

  1. ടോക്കൺ റീഡുകൾ നിരീക്ഷിക്കുക (Instrument token reads) – ഓരോ തവണ റൺ ചെയ്യുമ്പോഴും ഏജന്റ് അതിന്റെ മെമ്മറി ഫയൽ ലോഡ് ചെയ്യുമ്പോൾ ഉപയോഗിക്കുന്ന ടോക്കണുകളുടെ എണ്ണം രേഖപ്പെടുത്തുക.
  2. കാലക്രമേണ ട്രാക്ക് ചെയ്യുക – ഇന്നത്തെ ടോക്കൺ എണ്ണത്തെ ഒരു ആഴ്ചയോ മാസമോ മുമ്പുള്ള എണ്ണവുമായി താരതമ്യം ചെയ്യുക. സ്ഥിരമായ ഒരു വർദ്ധനവ് കോസ്റ്റ് ഡ്രിഫ്റ്റിനെ സൂചിപ്പിക്കുന്നു.

ഫയൽ പിശകില്ലാതെ ലോഡ് ആകുന്നുണ്ടോ എന്ന് പരിശോധിക്കുന്നത് മാത്രം മതിയാകില്ല; ആ ലോഡിന്റെ ചിലവ് നിങ്ങൾ അളക്കേണ്ടതുണ്ട്.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

ഏജന്റ് കോസ്റ്റ് ഡ്രിഫ്റ്റ് എന്നത് നിങ്ങളുടെ AI ബജറ്റിനെ നിശബ്ദമായി ബാധിച്ചേക്കാവുന്ന ഒരു അദൃശ്യ നികുതിയാണ്. ഏജന്റിന്റെ മെമ്മറി ഫയലിനെ ഒരു ചിലവ് കേന്ദ്രമായി (cost center) പരിഗണിച്ചുകൊണ്ട്—ടോക്കൺ റീഡുകൾ അളന്നുകൊണ്ടും, വളർച്ചാ വക്രങ്ങൾ നിരീക്ഷിച്ചുകൊണ്ടും, ലോഗുകൾ പുനഃക്രമീകരിച്ചുകൊണ്ടും—നിങ്ങൾക്ക് ഈ ചിലവ് കുറയ്ക്കാനും മികച്ച ഔട്ട്പുട്ട് നിലനിർത്താനും സാധിക്കും.

Source: https://dev.to/enjoy_kumawat/i-measured-what-my-agents-own-memory-file-costs-to-read-the-number-only-goes-up-46ob

Join the discussion: https://t.me/GyaanSetuAi