எனது AI அம்சம் எனது பணத்தை கரைப்பதைத் தடுத்த விதம்
எனது பக்கத் திட்டத்தில் (side project) ஒரு AI சாட்போட்டைச் சேர்த்தேன். அது எளிதானது என்று நினைத்தேன்.
நான் தவறாக நினைத்தேன்.
இரண்டு வாரங்களுக்குப் பிறகு, ஒரே ஒரு வாரத்திற்கு மட்டும் எனது OpenAI பில் $87 ஆக உயர்ந்தது. என்னிடம் வெறும் 50 பயனர்கள் மட்டுமே இருந்தனர். ஒரு பொழுதுபோக்குத் திட்டத்திற்காக நான் பணத்தை இழந்து கொண்டிருந்தேன்.
செலவைக் குறைக்கப் பல வழிகளை முயன்றேன். சில தோல்வியடைந்தன.
- Rate limiting: நான் கோரிக்கைகளை (requests) கட்டுப்படுத்தினேன். பயனர்கள் அதை வெறுத்து வெளியேறினர்.
- Truncating context: டோக்கன்களைச் சேமிக்கத் தரவைக் குறைத்தேன். பதில்கள் தவறாக மாறின.
- Simple caching: நான் துல்லியமான கேள்விகளைச் சேமித்து வைத்தேன் (cached). பயனர்கள் அரிதாகவே ஒரே கேள்வியை மீண்டும் கேட்பார்கள், எனவே இது தோல்வியடைந்தது.
தேவையற்ற வேலைகளே பிரச்சனை என்பதை நான் உணர்ந்தேன். LLM ஒரே மாதிரியான கருத்துக்களைத் திரும்பத் திரும்பச் செயலாக்கிக் கொண்டிருந்தது.
நான் மூன்று படிகள் மூலம் இதைச் சரி செய்தேன்:
Semantic Caching நான் துல்லியமான வார்த்தை ஒற்றுமைகளைத் தேடுவதை நிறுத்தினேன். ஒத்தக் கேள்விகளைக் கண்டறிய embeddings-களைப் பயன்படுத்தத் தொடங்கினேன். ஒரு புதிய கேள்வி பழைய கேள்விக்கு 92% ஒத்ததாக இருந்தால், நான் சேமித்து வைக்கப்பட்ட (cached) பதிலையே வழங்குகிறேன். இதன் மூலம் hit rate 40% ஆக உயர்ந்ததுடன், எனது செலவுகளும் பாதியாகக் குறைந்தது.
Smart Model Routing அனைத்திற்கும் GPT-4-ஐப் பயன்படுத்துவதை நிறுத்தினேன். நான் ஒரு router-ஐ உருவாக்கினேன். கேள்வி சுருக்கமாகவும் எளிமையாகவும் இருந்தால், மலிவான provider-ஐப் பயன்படுத்துகிறேன். கேள்வி சிக்கலானதாக இருந்தால், அதை ஒரு premium model-க்கு அனுப்புகிறேன். பெரும்பாலான கேள்விகளுக்கு உயர்தர (high-end) model தேவையில்லை.
Prompt Trimming மாடலுக்கு நான் அனுப்பும் context அளவைக் குறைத்தேன். மிகவும் பொருத்தமான தரவுத் துண்டுகளை (data chunks) மட்டும் தேர்ந்தெடுப்பதன் மூலம் context அளவை 60% குறைத்தேன்.
முடிவுகள்:
- வாராந்திரச் செலவுகள் $40-லிருந்து $7 ஆகக் குறைந்தன.
- cache காரணமாகப் பதிலளிக்கும் நேரம் வேகமானது.
- பயனர் திருப்தி உயர்வாகவே இருந்தது.
கற்றுக்கொண்ட பாடங்கள்:
- முதல் நாளிலிருந்தே ஒரு semantic cache-ஐ உருவாக்குங்கள்.
- உங்கள் cloud கணக்கில் உடனடியாக cost alerts-களைப் பயன்படுத்துங்கள்.
- எளிய FAQ பணிகளுக்கு விலையுயர்ந்த models-களைப் பயன்படுத்தாதீர்கள்.
AI-ஐச் சேர்ப்பது என்பது வெறும் prompts பற்றியது மட்டுமல்ல. அது பொருளாதாரம் சார்ந்தது. ஒவ்வொரு API call-க்கும் உண்மையான பணம் செலவாகிறது. நீங்கள் செயல்திறனுக்காக (efficiency) வடிவமைக்காவிட்டால், உங்கள் திட்டம் தோல்வியடையும்.
உங்கள் AI செலவுகளை நீங்கள் எவ்வாறு நிர்வகிக்கிறீர்கள்?
ஆதாரம்: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il