ஒரு தனி ஆராய்ச்சியாளர் தனது LLM-ஆல் இயங்கும் ஆராய்ச்சி ஏஜென்ட் (research agent) பயன்படுத்திய ஒவ்வொரு டோக்கனையும் (token) ஒரு மாதம் முழுவதும் பதிவு செய்தார், இதன் மூலம் தனது செலவை 31% குறைத்தார். செலவு $945-லிருந்து $651 ஆகக் குறைந்தது, அதே நேரத்தில் வெற்றி விகிதம் 91%-லிருந்து 93%-ஆக உயர்ந்தது. செலவு குறைந்த AI பணிப்பாய்வுகளை (workflows) கையாளும் எவருக்கும் இந்த முடிவு கவனிக்கத்தக்கது.
டோக்கன் அளவிலான தரவு ஏன் முக்கியமானது
பெரும்பாலான LLM பயனர்கள் இறுதி விலைப்பட்டியலை (invoice) மட்டுமே பார்க்கிறார்கள் – இது ஒவ்வொரு துணைப் பணியின் (sub-task) செலவையும் மறைக்கும் ஒரு மொத்தத் தொகையாகும். அந்த ஆராய்ச்சியாளரின் ஏஜென்ட் மூன்று முக்கியச் செயல்களைச் செய்தது: SEC ஆவணங்களைத் தேடுதல் (searching SEC filings), அறிக்கைகளைத் தயாரித்தல் (drafting reports), மற்றும் ஆராய்ச்சித் தொகுப்புகளை இணைத்தல் (stitching together research syntheses). விரிவான தரவு இல்லாமல், ஜூன் மாதத்தில் அவர் செலுத்திய $312 சரியாகப் பயன்படுத்தப்பட்டதா என்பதை அவரால் கண்டறிய முடியவில்லை.
மறைந்திருக்கும் செலவு வீணாவதைக் கண்டறிய, அவர் மாடல் பெயர், டோக்கன் எண்ணிக்கை, பணி வகை மற்றும் அழைப்பிற்கான (per-call) செலவு ஆகியவற்றைப் பதிவு செய்யும் ஒரு PostgreSQL லாகிங் லேயரை (logging layer) சேர்த்தார். 30 நாட்களுக்குப் பிறகு, தரவுகள் ஒரு தெளிவான படத்தை அளித்தன:
- SEC ஆவணத் தேடல் – மொத்தச் செலவில் 41%
- அறிக்கை தயாரிப்பு – 28%
- ஆராய்ச்சித் தொகுப்பு – 17%
- தரப் பரிசோதனைகள் – 9%
- இதர செலவுகள் – 5%
மிகவும் அதிகச் செலவு பிடிக்கும் படிநிலை மாடல் மட்டுமல்ல, அந்த ஏஜென்ட் தேடல் முடிவுகளை எவ்வாறு ப்ராம்ப்ட்களில் (prompts) உள்ளீடு செய்தது என்பதும் தான் என்பதை அந்த எண்கள் காட்டின.
சேமிப்பைத் தூண்டிய மூன்று மாற்றங்கள்
1. ப்ராம்ப்ட் செய்வதற்கு முன் சுருக்கவும் (Summarize before you prompt)
தொடக்கத்தில், ஏஜென்ட் ஒவ்வொரு ப்ராம்ப்டிலும் 20 மூலத் தேடல் முடிவுகளை (raw search results) திணித்தது, இது உள்ளீட்டு டோக்கன்களின் எண்ணிக்கையை அதிகப்படுத்தியது. அவர் முதலில் ஒரு மலிவான சுருக்கி (summarizer) கருவியைச் சேர்த்ததன் மூலம், உள்ளீட்டு அளவைக் குறைத்தார். தேடல் பணிக்கான செலவு $0.84-லிருந்து $0.19 ஆகக் குறைந்தது – இது 77% குறைவாகும்.
2. எளிய சோதனைகளை மலிவான மாடலுக்கு மாற்றவும்
தரப் பரிசோதனைகள் ஒரு சோதனைக்கு $0.09 செலவாகும் உயர்நிலை மாடலில் (high-end model) இயங்கின. அவர் பெரும்பாலான pass/fail சோதனைகளுக்குக் குறைந்த விலை கொண்ட மாடலை மாற்றியமைத்தார், இதன் மூலம் ஒரு சோதனையின் விலை $0.01 ஆகக் குறைந்தது. மலிவான மாடல் 89% நேரங்களில் சரியாகப் பதிலளித்தது; ஏதேனும் தோல்வி ஏற்பட்டால் அது மீண்டும் அசல் மாடலுக்கு அனுப்பப்படும் (escalated), இதன் மூலம் துல்லியத்தைப் பேணுவதோடு செலவையும் 87% குறைத்தார்.
3. நம்பிக்கை அதிகமாக இருக்கும்போது சோதனைகளைத் தவிர்க்கவும்
பணியின் வரலாற்று வெற்றி விகிதம் அதிகமாக இருக்கும்போதும், வெளியீட்டின் நீளம் எதிர்பார்க்கப்பட்ட வரம்பிற்குள் இருக்கும்போதும், தரப் பரிசோதனைப் படிநிலையைத் தவிர்க்கும் ஒரு விதியை அவர் சேர்த்தார். இது இயல்பாகவே நடந்திருக்கக்கூடிய சோதனைகளில் சுமார் 60%-ஐ நீக்கியது.
பலன்
இந்த மூன்று மாற்றங்களைச் செய்த பிறகு, மாதக் கணக்கு இவ்வாறு இருந்தது:
- மொத்தச் செலவு: $945 → $651 (31% குறைப்பு)
- ஒரு SEC தேடல் பணிச் செலவு: $0.84 → $0.19 (77% குறைப்பு)
- ஒரு தரப் பரிசோதனைச் செலவு: $0.09 → $0.01 (87% குறைப்பு)
- ஒட்டுமொத்த வெற்றி விகிதம்: 91% → 93%
உயர்ந்த வெற்றி விகிதம், சுருக்கமான ப்ராம்ப்ட்கள் தேவையற்ற இரைச்சலைக் (noise) குறைத்து, மாடல் முக்கியக் கேள்வி மீது கவனம் செலுத்த உதவியதைக் காட்டுகிறது.
எச்சரிக்கைகள் மற்றும் மாற்றுக்கருத்துக்கள்
இந்த அணுகுமுறை இரண்டு அனுமானங்களை அடிப்படையாகக் கொண்டது. முதலாவதாக, மலிவான சுருக்கி (summarizer), அடுத்தகட்டக் காரணத் திறனுக்கு (downstream reasoning) தேவையான போதுமான தகவல்களைத் தக்கவைக்க வேண்டும்; அது முக்கியமான விவரங்களை நீக்கினால், வெளியீட்டின் தரம் பாதிக்கப்படலாம். இரண்டாவதாக, தரப் பரிசோதனைகளுக்குப் பயன்படுத்தப்படும் குறைந்த செலவு கொண்ட மாடல் முழுமையானது அல்ல; அதன் 89% துல்லியம் என்பது, ஒரு சிறிய அளவிலான பிழைகள் இன்னும் இறுதித் தயாரிப்பைச் சென்றடையும் என்பதைக் குறிக்கிறது, இருப்பினும் escalation வழிமுறை பெரும்பாலானவற்றைத் தடுத்துவிடுகிறது. கடுமையான இணக்கத் தேவைகளைக் (compliance needs) கொண்ட பயனர்களுக்குக் கடுமையான வரம்புகள் அல்லது கூடுதல் சரிபார்ப்புப் படிநிலைகள் தேவைப்படலாம்.
LLM பயிற்சியாளர்களுக்கு இதன் பொருள் என்ன
- விரிவான டேஷ்போர்டுகள் (Granular dashboards) வெற்றி பெறும். உயர்நிலைச் செலவு அறிக்கைகள் டோக்கன் வீணாவதைக் மறைக்கின்றன. ஒவ்வொரு பணிக்கும் பயன்பாட்டைக் பதிவு செய்வது, இல்லையெனில் மறைந்திருக்கும் திறமையின்மையைக் கண்டறிய உதவும்.
- எப்போதும் frontier மாடல்கள் தேவையில்லை. ஒரு மலிவான மாடல், ஒட்டுமொத்தத் தரத்தைப் பாதிக்காமல் தரவைச் சுருக்கவோ அல்லது எளிய முடிவுகளை எடுக்கவோ முடியும்.
ஒரு LLM ஏஜென்ட்டின் மறைந்திருக்கும் செலவு என்பது பெரும்பாலும் அது செய்யும் அளவிடப்படாத வேலைகளாகும். டோக்கன் ஓட்டத்தைக் கண்காணிப்பதன் மூலமும், இலக்கு வைக்கப்பட்ட மேம்பாடுகளை (targeted optimizations)ச் செயல்படுத்துவதன் மூலமும், அந்த ஆராய்ச்சியாளர் தனது $945 மாதக் கட்டணத்தை $651 என்ற சிக்கனமான செயல்பாடாக மாற்றியதோடு, செயல்திறனையும் உயர்த்தினார். AI பணிப்பாய்வுகளுக்கான பட்ஜெட்டைத் திட்டமிடும் எவருக்கும் பாடம் தெளிவானது: ஒவ்வொரு டோக்கனையும் அளவிடுங்கள், பின்னர் தரவு எங்குச் செலவைக் குறைக்க வேண்டும் என்று தீர்மானிக்கட்டும்.