𝗪𝗵𝘆 𝗬𝗼𝘂𝗿 𝗔𝗴𝗲𝗻𝘁𝘀 𝗔𝗿𝗲 𝗕𝘂𝗿𝗻𝗶𝗻𝗴 𝗧𝗼𝗸𝗲𝗻𝘀
நீங்கள் ஒரு கோடிங் ஏஜெண்ட்டை (coding agent) வரிசைப்படுத்தினீர்கள். அது டிக்கெட்டுகளைப் பெற்று PR-களைச் சமர்ப்பிக்கிறது. அது நன்றாகச் செயல்படுகிறது.
பிறகு பில் வருகிறது.
நீங்கள் திட்டமிட்டதை விட ஏஜெண்ட் அதிகப் பணத்தைச் செலவழித்துள்ளது. அது ஏன் என்று உங்களுக்குத் தெரியவில்லை. ஒரு டிக்கெட்டிற்கு அது மாடலை (model) 50 முறை அணுகுகிறது. சில அழைப்புகள் மெதுவான மறுமுயற்சிகள் (retries). சில ஒரே சூழலைத் (context) திரும்பத் திரும்பப் படிக்கும் தேவையற்ற செயல்கள்.
இது மாடல் சார்ந்த பிரச்சனை அல்ல. இது உள்கட்டமைப்பு (infrastructure) சார்ந்த பிரச்சனை. உங்கள் குழுவிற்குச் செலவுகள் குறித்த தெளிவான பார்வை இல்லை. உங்கள் பட்ஜெட்டைத் தீர்க்கும் முன், கட்டுப்பாடற்ற ஏஜெண்ட்டைத் தடுப்பதற்கான வழி உங்களிடம் இல்லை.
ஏஜெண்ட்கள் என்பவை லூப்கள் (loops). அவை ஒரு பணியைப் படிக்கின்றன, ஒரு கருவியைக் (tool) அழைக்கின்றன, அதன் வெளியீட்டைப் படிக்கின்றன, மேலும் அதைத் திரும்பத் திரும்பச் செய்கின்றன. ஒவ்வொரு படிநிலையும் டோக்கன்களைச் செலவிடுகிறது. ஒரு ஏஜெண்ட் ஒவ்வொரு முறையும் சிஸ்டம் பிராம்ப்டை (system prompt) மீண்டும் படித்தால், செலவு வேகமாக அதிகரிக்கும். ஒரு சிறிய பிழை நூற்றுக்கணக்கான கூடுதல் வாசிப்புகளுக்கு வழிவகுக்கும்.
நீங்கள் பில்லைப் பார்க்கிறீர்கள், ஆனால் அழைப்புகளைப் (calls) பார்ப்பதில்லை. இது மிகவும் தாமதமான செயல்.
வெற்றிகரமான குழுக்கள் முதல் நாளிலிருந்தே செலவுக் கட்டுப்பாடுகளை உருவாக்குகின்றன. அவை இந்த முறைகளைப் பயன்படுத்துகின்றன:
- மாதாந்திர பட்ஜெட் உச்சவரம்புகளை (ceilings) நிர்ணயிக்கவும்.
- ஒவ்வொரு அழைப்பையும் எந்த ஏஜெண்ட் மற்றும் எந்தப் பணி தூண்டியது என்பதைப் பதிவு செய்யவும் (log).
- ஒரு பணி ஏன் மற்றொன்றை விட அதிகச் செலவைச் செய்தது என்பதற்கான காரணத்தைக் கண்டறியவும்.
புரொடக்ஷனில் (production) ஏஜெண்ட்களை இயக்க உங்களுக்குத் தேவை:
- ஏஜெண்ட் வாரியான கண்காணிப்பு: பயனர் மற்றும் பணி வாரியான செலவை அறியவும்.
- விர்ச்சுவல் கீகள் (Virtual keys): ஒரு டெவலப்பர் முழு பட்ஜெட்டையும் செலவழிப்பதைத் தவிர்க்க குழுக்களைத் தனிமைப்படுத்தவும்.
- பட்ஜெட் கட்டுப்பாடுகள்: கடுமையான வரம்புகளை நிர்ணயிக்கவும். ஒரு ஏஜெண்ட் வரம்பை எட்டும்போது, அது உங்களுக்கு எச்சரிக்கை செய்ய வேண்டும் அல்லது பணிகளைப் பெறுவதை நிறுத்த வேண்டும்.
- செலவு குறித்த தெளிவான பார்வை: போக்குகள் (trends) மற்றும் பணி வாரியான சராசரிச் செலவைக் காண ஒரு டேஷ்போர்டைப் (dashboard) பயன்படுத்தவும்.
- விரிவான பதிவுகள் (logs): அழைப்பு வகைகளின் பரவலைப் பார்க்கவும்.
இவற்றை நீங்கள் தவறவிட்டால், நீங்கள் எதையும் அறியாமல் செயல்படுகிறீர்கள் என்று அர்த்தம்.
LiteLLM இதைத் தவிர்க்க ஒரு குறிப்பிட்ட முறையைப் பயன்படுத்துகிறது:
- மூளை மற்றும் சாண்ட்பாக்ஸ் பிரிப்பு (Brain and sandbox split): பகுத்தறிவு (reasoning) ஒரு இடத்திலும், செயல்பாடு (execution) மற்றொரு இடத்திலும் இயங்குகிறது. இது தொடர்ச்சியான மறுவாசிப்புகளைத் தடுக்கிறது.
- தெளிவான டூல் இன்டர்ஃபேஸ்கள் (tool interfaces): நீண்ட உரத்திற்குப் பதிலாக கட்டமைக்கப்பட்ட வரையறைகளைப் (structured definitions) பயன்படுத்தவும்.
- கேட்வே கண்காணிப்பு (Gateway tracking): ஒவ்வொரு அழைப்பும் ஏஜெண்ட் மற்றும் குழுவிற்கான ஐடியுடன் (ID) ஒரு கேட்வே வழியாகச் செல்கிறது.
- கட்டாயப்படுத்தப்பட்ட பட்ஜெட்டுகள்: ஒரு பணியைத் தொடங்குவதற்கு முன் ஏஜெண்ட் தனது மீதமுள்ள பட்ஜெட்டைச் சரிபார்க்கிறது.
இந்தத் கருவிகள் இல்லாமல் நீங்கள் ஏஜெண்ட்களை உருவாக்கினால், செலவு வெடிப்புச் சம்பவத்தை எதிர்கொள்வீர்கள். ஒரு எட்ஜ் கேஸ் (edge case) அல்லது லூப் வரும் வரை ஏஜெண்ட் நன்றாகச் செயல்படும். அதற்குள் பணம் தீர்ந்துவிடும்.
இப்போதே இந்த நடவடிக்கைகளை எடுக்கவும்:
- உங்கள் கடைசி API பில்லைத் தணிக்கை (audit) செய்யவும்.
- ஒவ்வொரு அழைப்பையும் ஏஜெண்ட் ஐடி (agent ID) மற்றும் டாஸ்க் ஐடி (task ID) மூலம் கண்காணிக்கவும்.
- இன்றே ஒரு பட்ஜெட் உச்சவரம்பை நிர்ணயிக்கவும்.
- தோல்வியடைந்த மறுமுயற்சிகளைக் கண்டறிய டூல் அழைப்புகளைப் பதிவு செய்யவும்.
- ஒவ்வொரு வாரமும் அழைப்பு முறைகளை (call patterns) ஆய்வு செய்யவும்.
நம்பகமான ஏஜெண்ட்களையும், அதிகச் செலவு தரும் தவறுகளையும் பிரித்து வைக்கும் உள்கட்டமைப்பை உருவாக்குங்கள்.
ஆதாரம்: https://dev.to/paultwist/why-your-agents-are-silently-burning-tokens-and-how-to-stop-them-7g8
விருப்பத்தேர்வு கற்றல் சமூகம்: https://t.me/GyaanSetuAi