ఒక ప్రొడక్షన్ LLM ఏజెంట్ యొక్క మెమరీ లాగ్ 2 KB ఫైల్ నుండి 29,446 బైట్‌లకు పెరిగింది, దీనివల్ల ఏజెంట్ చదివే టోకెన్ల సంఖ్య ఒక్కో రన్‌కు సుమారు 500 నుండి 7,360కి పెరిగింది — మానిటరింగ్ డ్యాష్‌బోర్డ్‌లో ఎటువంటి హెచ్చరిక లేకుండా కనిపించిన ఈ ఖర్చు ఒక దాగి ఉన్న వ్యయం. ఏజెంట్ వెనుక ఉన్న డెవలపర్ ప్రకారం, రీడ్ కాస్ట్ (read cost) నిశ్శబ్దంగా పెరగడం అనేది “ఏజెంట్ కాస్ట్ డ్రిఫ్ట్” (agent cost drift) కు ఒక స్పష్టమైన ఉదాహరణ, ఇది సిస్టమ్ సాధారణంగా పనిచేస్తున్నట్లు అనిపించినప్పటికీ బడ్జెట్‌లను దెబ్బతీసే సమస్య.

ఏజెంట్ కాస్ట్ డ్రిఫ్ట్ అంటే ఏమిటి?

ఏజెంట్ కాస్ట్ డ్రిఫ్ట్ అనేది ఏజెంట్ యొక్క పెరుగుతున్న స్టేట్ (state) కారణంగా, దాని రోజువారీ కార్యకలాపాల యొక్క కంప్యూటేషనల్ కాస్ట్ క్రమంగా పెరగడాన్ని వివరిస్తుంది. ఈ ఉదాహరణలో, ఏజెంట్ గతంలో ఏ ఆర్టికల్ టాపిక్స్‌ను ఎందుకు తిరస్కరించిందో రికార్డ్ చేసే వర్క్-లాగ్ ఫైల్‌ను నిర్వహిస్తుంది. ప్రతి కొత్త ఎంట్రీ ఒక పేరాగ్రాఫ్ రీజనింగ్‌ను జోడిస్తుంది, మరియు ఏజెంట్ కొత్త కంటెంట్‌ను రూపొందించే ముందు ఆ ఫైల్‌ను పూర్తిగా చదువుతుంది. లాగ్ క్వాడ్రాటిక్‌గా (quadratically) విస్తరించడం వల్ల — అంటే ప్రతి ఎంట్రీ తన స్వంత పొడవును జోడించడమే కాకుండా మునుపటి ఎంట్రీలను కూడా రిఫరెన్స్ చేస్తుంది — ఏజెంట్ తీసుకోవలసిన టెక్స్ట్ పరిమాణం కాలక్రమేణా వేగంగా పెరుగుతుంది.

ఈ డ్రిఫ్ట్ అనేది ఒక్కసారిగా పెరిగే స్పైక్ (spike) లేదా వైఫల్యం కాదు; ఇది క్రమంగా పెరిగే ఒక లీనియర్ పన్ను వంటిది. ఏజెంట్ ఇప్పటికీ రోజుకు రెండు ఆర్టికల్స్‌ను ఉత్పత్తి చేస్తుంది మరియు డ్యాష్‌బోర్డ్‌లో ఎటువంటి లోపాలు కనిపించవు, అయినప్పటికీ ప్రతి రన్ ఇప్పుడు 7,360 టోకెన్లను వినియోగిస్తోంది, ఇది ఒక నెల క్రితం ఉన్న సుమారు 500 టోకెన్ల కంటే చాలా ఎక్కువ. చాలా LLM ప్రొవైడర్లు టోకెన్ల ఆధారంగా ఛార్జ్ చేస్తారు కాబట్టి, ప్రతి రన్‌లోని టోకెన్ల పెరుగుదల నేరుగా నిర్వహణ ఖర్చుల పెరుగుదలకు దారితీస్తుంది.

ఇది ఎందుకు ముఖ్యం

  • బడ్జెట్ ప్రభావం – టోకెన్ ఆధారిత ధరల విధానం ప్రకారం, ప్రతి అదనపు టోకెన్ చదవడం అంటే ఖర్చు పెరగడమే. టోకెన్ల సంఖ్య 500 నుండి 7,360కి పెరిగింది.

దాగి ఉన్న మెకానిజంస్

ఫైల్ పెరిగే విధానం ఇక్కడ కీలకం. కేవలం కొత్త ఎంట్రీలను జోడించే (append) లైన్-బై-లైన్ లాగ్ అయితే అది లీనియర్‌గా పెరుగుతుంది, కానీ ప్రతి ఎంట్రీ మునుపటి తిరస్కరణల వెనుక ఉన్న కారణాలను వివరిస్తుంది కాబట్టి, టెక్స్ట్ పొడవు క్రమంగా పెరుగుతూనే ఉంటుంది. దీని ఫలితం ఒక క్వాడ్రాటిక్ గ్రోత్ కర్వ్ (quadratic growth curve): ఎంట్రీల సంఖ్యను రెట్టింపు చేస్తే ఫైల్ సైజు రెట్టింపు కంటే ఎక్కువగా పెరుగుతుంది, మరియు దానిని ప్రాసెస్ చేయడానికి అవసరమైన టోకెన్ల సంఖ్య ఇంకా వేగంగా పెరుగుతుంది.

డెవలపర్లు ఈ పెరుగుతున్న ఖర్చును అరుదుగా గమనిస్తారు, ఎందుకంటే ప్రతి ఎంట్రీ "తనంతట తానుగా అర్థవంతంగా" ఉంటుంది. ఏజెంట్ అవుట్‌పుట్ సరిగానే ఉంటుంది మరియు లాగ్ తన పనిని కొనసాగిస్తుంది, దీనివల్ల అసమర్థత (inefficiency) బయటపడదు.

నివారణ వ్యూహం

డెవలపర్ లాగ్‌ను మూడు భాగాలుగా పునర్నిర్మించాలని ప్రతిపాదిస్తున్నారు:

  • రీసెంట్-ఎంట్రీ ఫైల్ (Recent-entry file) – తక్షణపు పునరావృతాలను నివారించడానికి అవసరమైన చివరి కొన్ని ఎంట్రీలను మాత్రమే కలిగి ఉండే చిన్న, యాక్టివ్‌గా చదివే ఫైల్‌ను ఉంచండి.
  • కంపాక్ట్ ఇండెక్స్ (Compact index) – పాత ఎంట్రీల కోసం ఒక లైన్ సమ్మరీని నిల్వ చేయండి. పూర్తి పేరాగ్రాఫ్‌లను చదవకుండానే టాపిక్ డూప్లికేషన్‌ను తనిఖీ చేయడానికి ఈ ఇండెక్స్‌ను వేగంగా స్కాన్ చేయవచ్చు.
  • ఆర్కైవ్డ్ ఫుల్ టెక్స్ట్ (Archived full text) – పూర్తి చారిత్రక రీజనింగ్‌ను వేరుగా ఉన్న ఆర్కైవ్ ఫైల్‌లోకి మార్చండి, దీనిని ఏజెంట్ సాధారణ కార్యకలాపాల సమయంలో చదవదు.

ఈ విధానం టాపిక్ పునరావృతాలను నివారించే ఏజెంట్ సామర్థ్యాన్ని కాపాడుతూనే, ప్రతి రన్‌లోని టోకెన్ లోడ్‌ను గణనీయంగా తగ్గిస్తుంది.

మీ ఏజెంట్లలో కాస్ట్ డ్రిఫ్ట్‌ను ఎలా గుర్తించాలి

  1. టోకెన్ రీడ్స్‌ను ట్రాక్ చేయండి (Instrument token reads) – ఏజెంట్ ప్రతిసారి రన్ అయినప్పుడు దాని మెమరీ ఫైల్‌ను లోడ్ చేసేటప్పుడు వినియోగించే టోకెన్ల సంఖ్యను రికార్డ్ చేయండి.
  2. కాలక్రమేణా ట్రాక్ చేయండి (Track over time) – నేటి టోకెన్ల సంఖ్యను వారం లేదా నెల క్రితం ఉన్న సంఖ్యతో పోల్చండి. స్థిరమైన పెరుగుదల ధోరణి (upward trend) డ్రిఫ్ట్‌ను సూచిస్తుంది.

ఫైల్ ఎటువంటి లోపం లేకుండా లోడ్ అవుతుందో లేదో సరిచూసుకోవడం మాత్రమే సరిపోదు; ఆ లోడింగ్ వల్ల అయ్యే ఖర్చును మీరు కొలవాలి.

తదుపరి గమనించవలసినవి

ఏజెంట్ కాస్ట్ డ్రిఫ్ట్ అనేది మీ AI బడ్జెట్‌ను నిశ్శబ్దంగా దెబ్బతీసే ఒక అదృశ్య పన్ను వంటిది. ఏజెంట్ మెమరీ ఫైల్‌ను ఒక కాస్ట్ సెంటర్‌గా పరిగణించడం ద్వారా—అంటే టోకెన్ రీడ్స్‌ను కొలవడం, గ్రోత్ కర్వ్‌లను గమనించడం మరియు లాగ్‌లను పునర్నిర్మించడం ద్వారా—మీరు ఈ ఖర్చును తగ్గించి, అవుట్‌పుట్‌ను మెరుగుపరచుకోవచ్చు.

Source: https://dev.to/enjoy_kumawat/i-measured-what-my-agents-own-memory-file-costs-to-read-the-number-only-goes-up-46ob

Join the discussion: https://t.me/GyaanSetuAi