પ્રોડક્શન LLM એજન્ટનો મેમરી લોગ 2 KB ફાઇલથી વધીને 29,446 બાઇટ્સ થઈ ગયો, જેના કારણે એજન્ટ દ્વારા વાંચવામાં આવતા ટોકન કાઉન્ટ પ્રતિ રન આશરે 500 થી વધીને 7,360 થઈ ગયા — એક છુપો ખર્ચ જે મોનિટરિંગ ડેશબોર્ડ પર કોઈ એલર્ટ વગર દેખાયો. એજન્ટ પાછળના ડેવલપરનું કહેવું છે કે રીડ કોસ્ટમાં (વાંચવાના ખર્ચમાં) થયેલો આ શાંત વધારો "એજન્ટ કોસ્ટ ડ્રિફ્ટ" (agent cost drift) નું એક નક્કર ઉદાહરણ છે, એક એવી સમસ્યા જે સિસ્ટમ સામાન્ય રીતે કાર્યરત દેખાતી હોવા છતાં બજેટને નુકસાન પહોંચાડી શકે છે.

એજન્ટ કોસ્ટ ડ્રિફ્ટ (agent cost drift) શું છે?

એજન્ટ કોસ્ટ ડ્રિફ્ટ એ AI એજન્ટની રૂટિન કામગીરીના કમ્પ્યુટેશનલ ખર્ચમાં થતા ક્રમિક વધારાને દર્શાવે છે, જે એજન્ટની પોતાની વધતી જતી સ્ટેટ (state) ને કારણે થાય છે. ઉદાહરણમાં, એજન્ટ એક વર્ક-લોગ ફાઇલ રાખે છે જે અગાઉના આર્ટિકલ ટોપિક્સ કેમ નકારવામાં આવ્યા હતા તેનું રેકોર્ડ રાખે છે. દરેક નવી એન્ટ્રી તર્કનો એક ફકરો ઉમેરે છે, અને એજન્ટ નવું કન્ટેન્ટ જનરેટ કરતા પહેલા આખી ફાઇલ વાંચે છે. કારણ કે લોગ ક્વોડ્રેટિકલી (quadratically) રીતે વિસ્તરે છે — દરેક એન્ટ્રી માત્ર તેની પોતાની લંબાઈ જ ઉમેરતી નથી પરંતુ અગાઉની એન્ટ્રીઓનો સંદર્ભ પણ આપે છે — તેથી એજન્ટ દ્વારા વાંચવા પડતા ટેક્સ્ટનું પ્રમાણ સમય જતાં ઝડપથી વધે છે.

આ ડ્રિફ્ટ કોઈ અચાનક વધારો કે નિષ્ફળતા નથી; તે એક લિનિયર ટેક્સ (linear tax) છે જે ચક્રવૃદ્ધિ રીતે વધે છે. એજન્ટ હજુ પણ દિવસમાં બે આર્ટિકલ બનાવે છે, અને ડેશબોર્ડમાં કોઈ ભૂલ દેખાતી નથી, છતાં હવે દરેક રનમાં આશરે 500 ટોકન (જે એક મહિના પહેલા હતા) થી વધીને 7,360 ટોકન વપરાય છે. મોટાભાગના LLM પ્રોવાઈડર્સ ટોકન દીઠ ચાર્જ લેતા હોવાથી, પ્રતિ રન ટોકનની સંખ્યામાં થતો વધારો સીધો જ ઊંચા ઓપરેટિંગ ખર્ચમાં પરિણમે છે.

તે શા માટે મહત્વનું છે

  • બજેટ પર અસર – ટોકન-આધારિત પ્રાઇસિંગનો અર્થ છે કે વાંચવામાં આવેલ દરેક વધારાનો ટોકન એ ખર્ચાયેલું નાણું છે. ટોકન કાઉન્ટ 500 થી વધીને 7,360 થયો છે.

છુપી મિકેનિક્સ (The hidden mechanics)

ફાઇલની વૃદ્ધિની પદ્ધતિ મુખ્ય છે. લાઇન-બાય-લાઇન લોગ જે માત્ર નવી એન્ટ્રીઓ ઉમેરે છે તે લિનિયર રીતે વધશે, પરંતુ દરેક એન્ટ્રી અગાઉના નકારાત્મક નિર્ણયો પાછળનું કારણ સમજાવતી હોવાથી, ટેક્સ્ટની લંબાઈમાં ચક્રવૃદ્ધિ રીતે વધારો થાય છે. પરિણામ એક ક્વોડ્રેટિક ગ્રોથ કર્વ (quadratic growth curve) છે: એન્ટ્રીઓની સંખ્યા બમણી કરવાથી ફાઇલનું કદ બમણાથી પણ વધુ વધી જાય છે, અને તેને પ્રોસેસ કરવા માટે જરૂરી ટોકન કાઉન્ટ તેનાથી પણ વધુ ઝડપથી વધે છે.

ડેવલપર્સ ભાગ્યે જ વધતા ખર્ચને પકડી શકે છે કારણ કે દરેક એન્ટ્રી "પોતાની રીતે યોગ્ય લાગે છે." એજન્ટનું આઉટપુટ સાચું રહે છે, અને લોગ તેનો હેતુ પૂરો કરવાનું ચાલુ રાખે છે, જેનાથી બિનકાર્યક્ષમતા છુપાઈ જાય છે.

નિવારણ વ્યૂહરચના (Mitigation strategy)

ડેવલપર લોગના ત્રણ ભાગમાં પુનર્ગઠનનો પ્રસ્તાવ મૂકે છે:

  • તાજેતરની એન્ટ્રી ફાઇલ (Recent-entry file) – એક નાની, સક્રિય રીતે વાંચવામાં આવતી ફાઇલ રાખો જેમાં માત્ર તાજેતરની કેટલીક એન્ટ્રીઓ હોય જે તાત્કાલિક પુનરાવર્તનને ટાળવા માટે જરૂરી હોય.
  • કોમ્પેક્ટ ઇન્ડેક્સ (Compact index) – જૂની એન્ટ્રીઓ માટે એક લાઇનની સારાંશ સંગ્રહિત કરો. આખા ફકરાઓને ખેંચ્યા વગર ટોપિક ડુપ્લીકેશન તપાસવા માટે ઇન્ડેક્સને ઝડપથી સ્કેન કરી શકાય છે.
  • આર્કાઇવ્ડ ફૂલ ટેક્સ્ટ (Archived full text) – સંપૂર્ણ ઐતિહાસિક તર્કને અલગ આર્કાઇવ ફાઇલમાં ખસેડો જે એજન્ટ સામાન્ય કામગીરી દરમિયાન વાંચતો નથી.

આ અભિગમ ટોપિકના પુનરાવર્તનને ટાળવાની એજન્ટની ક્ષમતા જાળવી રાખે છે અને સાથે જ પ્રતિ રન ટોકન લોડમાં મોટો ઘટાડો કરે છે.

તમારા એજન્ટ્સમાં કોસ્ટ ડ્રિફ્ટ કેવી રીતે શોધવો

  1. ટોકન રીડ્સનું માપન કરો (Instrument token reads) – જ્યારે પણ એજન્ટ રન થાય ત્યારે તેની મેમરી ફાઇલ લોડ કરતી વખતે તે કેટલા ટોકન વાપરે છે તેનો રેકોર્ડ રાખો.
  2. સમય જતાં ટ્રેક કરો – આજનો ટોકન કાઉન્ટ એક અઠવાડિયા કે એક મહિના પહેલાના કાઉન્ટ સાથે સરખાવો. સતત ઉપર જતો ટ્રેન્ડ ડ્રિફ્ટનો સંકેત આપે છે.

ફાઇલ હજુ પણ ભૂલ વગર લોડ થાય છે તેની ખાતરી કરવી પૂરતી નથી; તમારે તે લોડના ખર્ચને માપવો પડશે.

આગળ શું ધ્યાન રાખવું

એજન્ટ કોસ્ટ ડ્રિફ્ટ એ એક અદ્રશ્ય ટેક્સ છે જે તમારા AI બજેટને શાંતિથી નુકસાન પહોંચાડી શકે છે. એજન્ટની મેમરી ફાઇલને કોસ્ટ સેન્ટર તરીકે ગણીને—ટોકન રીડ્સ માપીને, ગ્રોથ કર્વ પર નજર રાખીને અને લોગનું પુનર્ગઠન કરીને—તમે ટેક્સ ઓછો રાખી શકો છો અને આઉટપુટ સચોટ રાખી શકો છો.

Source: https://dev.to/enjoy_kumawat/i-measured-what-my-agents-own-memory-file-costs-to-read-the-number-only-goes-up-46ob

Join the discussion: https://t.me/GyaanSetuAi