𝟳 𝗪𝗮𝘆𝘀 𝘁𝗼 𝗥𝗲𝗱𝘂𝗰𝗲 𝗬𝗼𝘂𝗿 𝗔𝗜 𝗕𝗶𝗹𝗹
കഴിഞ്ഞ മാസം എന്റെ AI API ബില്ല് 120 USD-ൽ നിന്ന് 480 USD ആയി ഉയർന്നു. കാര്യങ്ങൾ ഒപ്റ്റിമൈസ് ചെയ്യാതെ തന്നെ ഞാൻ പുതിയ ഫീച്ചറുകൾ ചേർത്തു. ഇതിനെയാണ് ഞാൻ 'Tokenpocalypse' എന്ന് വിളിക്കുന്നത്. പ്രൊഡക്ഷനിൽ, ടോക്കൺ ചിലവുകൾ നിയന്ത്രിക്കുക എന്നത് അനിവാര്യമാണ്.
നിങ്ങളുടെ AI ചിലവുകൾ കുറയ്ക്കുന്നതിനുള്ള 7 പ്രായോഗിക വഴികൾ ഇതാ:
- നിങ്ങളുടെ പ്രോംപ്റ്റുകൾ (prompts) ഒപ്റ്റിമൈസ് ചെയ്യുക ഓരോ ക്യാരക്ടറിനും പണം ചിലവാകുന്നുണ്ട്. അനാവശ്യമായ മര്യാദകളോ നീണ്ട ആമുഖങ്ങളോ ഒഴിവാക്കുക.
- നേരിട്ട് കാര്യങ്ങൾ പറയുക.
- JSON പോലുള്ള സ്ട്രക്ചർഡ് ഇൻപുട്ടുകൾ ഉപയോഗിക്കുക.
- Few-shot learning-നായി കുറഞ്ഞ എണ്ണം ഉദാഹരണങ്ങൾ മാത്രം ഉപയോഗിക്കുക.
- നിങ്ങൾക്ക് ആവശ്യമുള്ള ഔട്ട്പുട്ട് ഫോർമാറ്റ് കൃത്യമായി നൽകുക. പ്രോംപ്റ്റുകൾ ചുരുക്കിയതിലൂടെ മാത്രം ടോക്കണുകളിൽ എനിക്ക് 30% ലാഭിക്കാൻ കഴിഞ്ഞു.
ശരിയായ മോഡൽ തിരഞ്ഞെടുക്കുക സാധനങ്ങൾ വാങ്ങാൻ കടയിൽ പോകുന്നതിന് ഒരു ഫെരാരി ഉപയോഗിക്കരുത്. സങ്കീർണ്ണമായ ജോലികൾക്കായി GPT-4 പോലുള്ള വലിയ മോഡലുകൾ ഉപയോഗിക്കുക. ലളിതമായ ക്ലാസിഫിക്കേഷനോ എക്സ്ട്രാക്ഷനോ (extraction) ആണെങ്കിൽ Gemini Flash അല്ലെങ്കിൽ Llama 3 പോലുള്ള ചെറിയ മോഡലുകൾ ഉപയോഗിക്കുക. ചെറിയ മോഡലുകൾ പലപ്പോഴും പത്തിലൊന്ന് ചിലവിൽ ലഭ്യമാകും കൂടാതെ വളരെ വേഗതയുള്ളതുമാണ്.
കാഷിംഗ് (caching) നടപ്പിലാക്കുക ഒരേ ചോദ്യം തന്നെ വീണ്ടും ചോദിക്കരുത്. ഒരേപോലെയോ സമാനമായോ ഉള്ള പ്രോംപ്റ്റുകൾ ലഭിക്കുകയാണെങ്കിൽ, Redis പോലുള്ള ഒരു കാഷിൽ നിന്ന് ഉത്തരം നൽകുക. ഈ രീതി ഉപയോഗിച്ചതിലൂടെ എന്റെ ദൈനംദിന AI കോളുകൾ 15,000-ൽ നിന്ന് 8,000 ആയി കുറയ്ക്കാൻ എനിക്ക് സാധിച്ചു.
RAG ആർക്കിടെക്ചർ ഉപയോഗിക്കുക മുഴുവൻ ഡോക്യുമെന്റുകളും AI-ക്ക് അയക്കരുത്. Retrieval-Augmented Generation (RAG) ഉപയോഗിക്കുക. ഈ രീതി നിങ്ങളുടെ ഡാറ്റയിലെ പ്രസക്തമായ ഭാഗങ്ങൾ മാത്രം മോഡലിലേക്ക് അയക്കുന്നു. എന്റെ ഡാറ്റാ പ്ലാറ്റ്ഫോമിൽ RAG ഉപയോഗിച്ചതിലൂടെ ടോക്കൺ ഉപയോഗം 60% കുറയ്ക്കാൻ കഴിഞ്ഞു.
മൾട്ടി-ഏജന്റ് ഫ്ലോകൾ (multi-agent flows) ഒപ്റ്റിമൈസ് ചെയ്യുക മൾട്ടി-ഏജന്റ് സിസ്റ്റങ്ങളിൽ, ഏജന്റുകൾ നിരന്തരം പരസ്പരം സംസാരിച്ചുകൊണ്ടിരിക്കും. ഇത് ചിലവ് വർദ്ധിപ്പിക്കും.
- ഒരു 'early exit strategy' ഉപയോഗിക്കുക.
- ഒരു ഏജന്റിന് ലളിതമായ ലോജിക് ഉപയോഗിച്ച് ഒരു ടാസ്ക് പൂർത്തിയാക്കാൻ കഴിയുമെങ്കിൽ, LLM വിളിക്കേണ്ടതില്ല.
- ലളിതമായ തീരുമാനങ്ങൾക്കായി rule-based സിസ്റ്റങ്ങൾ ഉപയോഗിക്കുക. ലളിതമായ സ്റ്റോക്ക് പരിശോധനകൾക്കായി AI-ക്ക് പകരം നേരിട്ട് ഡാറ്റാബേസ് ക്വറികൾ ഉപയോഗിച്ചതിലൂടെ ഒരു ക്ലയന്റ് പ്രോജക്റ്റിൽ LLM കോളുകൾ 70% കുറയ്ക്കാൻ എനിക്ക് കഴിഞ്ഞു.
- കാര്യക്ഷമമായ ഡാറ്റാ ഫോർമാറ്റുകൾ ഉപയോഗിക്കുക ഫോർമാറ്റ് വളരെ പ്രധാനമാണ്. JSON-നേക്കാൾ കൂടുതൽ ടോക്കണുകൾ XML ഉപയോഗിക്കുന്നു.
- XML-നേക്കാൾ JSON ഉപയോഗിക്കാൻ താല്പര്യപ്പെടുക.
- കുറഞ്ഞ നെസ്റ്റിംഗ് (nesting) ഉപയോഗിക്കുക.
- അനാവശ്യമായ സ്പേസുകളും കമന്റുകളും ഒഴിവാക്കുക.
- "product_id"-ന് പകരം "id" പോലുള്ള ചെറിയ കീകൾ ഉപയോഗിക്കുക. XML-ൽ നിന്ന് JSON-ലേക്ക് മാറിയത് ഔട്ട്പുട്ട് ടോക്കണുകളിൽ 25% ലാഭിക്കാൻ എന്നെ സഹായിച്ചു.
- മൾട്ടി-പ്രൊവൈഡർ സ്ട്രാറ്റജി ഉപയോഗിക്കുക ഒരു പ്രൊവൈഡറെ മാത്രം ആശ്രയിക്കരുത്. ഓരോ ജോലിക്കും ഏറ്റവും അനുയോജ്യമായ മോഡലിലേക്ക് ടാസ്ക്കുകൾ അയക്കാൻ ഒരു റൂട്ടർ (router) ഉപയോഗിക്കുക. ലളിതമായ ജോലികൾ Groq അല്ലെങ്കിൽ Cerebras പോലുള്ള കുറഞ്ഞ ചിലവുള്ള പ്രൊവൈഡർമാർക്ക് നൽകുക. സങ്കീർണ്ണമായ ജോലികൾ ഹൈ-എൻഡ് മോഡലുകൾക്ക് നൽകുക. ഇത് ചിലവ് കുറയ്ക്കാനും സിസ്റ്റത്തിന്റെ കാര്യക്ഷമത നിലനിർത്താനും സഹായിക്കുന്നു.
Source: https://dev.to/merbayerp/7-ways-to-reduce-your-ai-bill-smart-strategies-21hc
Optional learning community: https://t.me/GyaanSetuAi