AI ஏஜென்ட் செலவு என்பது ஒரு ரன்டைம் சிக்னல்

AI ஏஜென்ட் செலவுகளை ஒரு மாதந்திர பயன்பாட்டு கட்டணம் (utility bill) போலக் கருதுவதை நிறுத்துங்கள்.

மாதாந்திர விலைப்பட்டியல் (invoice) என்பது நிதித் தரவு (finance data). பணம் செலவான பிறகு நீங்கள் எவ்வளவு செலவு செய்தீர்கள் என்பதை அது உங்களுக்குத் தெரிவிக்கிறது. ஏஜென்ட்டின் செயல்பாட்டிற்கு (behavior) பொறியியல் குழுவே (Engineering) பொறுப்பு. நீங்கள் செலவுகளைக் கட்டுப்படுத்த விரும்பினால், செலவை ஒரு ரன்டைம் சிக்னலாக (runtime signal) கருத வேண்டும்.

ஒரு AI ஏஜென்ட் ஒரு நிலையான சேவையைப் (flat service) போலப் பணத்தைச் செலவழிக்காது. அது பின்வருவனவற்றின் மூலம் பணத்தைச் செலவழிக்கிறது:

ஒரே ஒரு விலை உயர்ந்த பணி ஒரு மாத பட்ஜெட்டைச் சீரழித்துவிடக்கூடும். ஒரு எளிய மணிநேர வரம்பு (hourly cap), மலிவான ஆனால் மதிப்புமிக்க ஒரு பணி முடிவடைவதைத் தடுத்துவிடலாம். இதை ஒரு ஸ்பிரெட்ஷீட் (spreadsheet) மூலம் நீங்கள் நிர்வகிக்க முடியாது.

நீங்கள் செலவுக் கட்டுப்பாட்டை ஹார்னஸிற்குள் (harness) கொண்டு வர வேண்டும்.

மாடல் வழித்தடங்கள் (model routes), மறுமுயற்சிகள் (retries) மற்றும் டூல் பயன்பாடு (tool usage) ஆகியவற்றை நீங்கள் ஹார்னஸில் தான் கட்டுப்படுத்துகிறீர்கள். செலவின் கட்டமைப்பை (architecture) ஹார்னஸ் புரிந்துகொள்வதால், செலவுக் கொள்கை (Cost policy) இங்குதான் இருக்க வேண்டும்.

டோக்கன் எண்ணிக்கையில் (token counts) மட்டும் கவனம் செலுத்துவதை நிறுத்துங்கள். பதில் தவறாக இருந்தால், டோக்கன்களைக் குறைப்பது பயனற்றது. அதற்குப் பதிலாக, ஒரு முடிவிற்கான செலவில் (cost per outcome) கவனம் செலுத்துங்கள். • இணைக்கப்பட்ட ஒவ்வொரு புல் ரிக்வெஸ்டிற்கான (merged pull request) செலவு. • தீர்க்கப்பட்ட ஒவ்வொரு சப்போர்ட் டிக்கெட்டிற்கான (resolved support ticket) செலவு. • வெற்றிகரமான ஒவ்வொரு பணிப்பாய்விற்கான (successful workflow) செலவு.

ஒரு சிக்கலைத் தீர்க்கும் ஐந்து டாலர் மதிப்பிலான workflow, மனிதர்களுக்குத் தேவையற்ற வேலைகளைத் தரும் ஐம்பது சென்ட் மதிப்பிலான workflow-வை விடச் சிறந்தது.

திறமையான செலவுக் கட்டுப்பாடு என்பது நம்பகத்தன்மை சார்ந்த வேலை (reliability work) போன்றது. இதற்கு அதே உரிமையாளர்கள் (owners), அதே டிரேஸ்கள் (traces) மற்றும் அதே ஒழுக்கம் தேவை.

விலைப்பட்டியலுக்காக (invoice) காத்திருக்காதீர்கள். செலவுத் தரவை உங்கள் டிரேஸ்கள் (traces) மற்றும் மதிப்பீடுகளுக்கு (evaluations) அருகிலேயே வைத்திருங்கள். அதிக செலவு செய்யும் ஒரு டிரேஸை, டாலர் குறியுடன் கூடிய ஒரு பிழை அறிக்கையாக (bug report) கருதுங்கள்.

நீங்கள் செலவைக் கட்டுப்படுத்த விரும்பினால், ரன்டைமை (runtime) கட்டுப்படுத்துங்கள்.

Source: https://dev.to/focused_dot_io/ai-agent-cost-is-a-runtime-signal-focused-labs-5772

Optional learning community: https://t.me/GyaanSetuAi