𝗛𝗼𝘄 𝗜 𝗦𝘁𝗼𝗽𝗽𝗲𝗱 𝗠𝘆 𝗔𝗜 𝗙𝗲𝗮𝘁𝘂𝗿𝗲 𝗳𝗿𝗼𝗺 𝗗𝗿𝗮𝗶𝗻𝗶𝗻𝗴 𝗠𝘆 𝗪𝗮𝗹𝗹𝗲𝘁
ഞാൻ എന്റെ സൈഡ് പ്രോജക്റ്റിൽ ഒരു AI ചാറ്റ്ബോട്ട് ചേർത്തു. അത് ലളിതമായിരിക്കുമെന്ന് ഞാൻ കരുതി.
ഞാൻ തെറ്റിദ്ധരിച്ചു.
രണ്ടാഴ്ചയ്ക്ക് ശേഷം, ഒരു ആഴ്ചയിൽ മാത്രം എന്റെ OpenAI ബില്ല് $87 ആയി ഉയർന്നു. എനിക്ക് വെറും 50 ഉപയോക്താക്കൾ മാത്രമേ ഉണ്ടായിരുന്നുള്ളൂ. ഒരു ഹോബി പ്രോജക്റ്റിൽ ഞാൻ പണം നഷ്ടപ്പെടുത്തിക്കൊണ്ടിരിക്കുകയായിരുന്നു.
ചിലവുകൾ കുറയ്ക്കാൻ ഞാൻ പല വഴികളും പരീക്ഷിച്ചു. ചിലത് പരാജയപ്പെട്ടു.
- Rate limiting: ഞാൻ റിക്വസ്റ്റുകൾ പരിമിതപ്പെടുത്തി. ഉപയോക്താക്കൾക്ക് അത് ഇഷ്ടപ്പെട്ടില്ല, അവർ പോയി.
- Truncating context: ടോക്കണുകൾ ലാഭിക്കാനായി ഞാൻ ഡാറ്റ കുറച്ചു. ഉത്തരങ്ങൾ തെറ്റായി വന്നു.
- Simple caching: ഞാൻ കൃത്യമായ ചോദ്യങ്ങൾ കാഷ് (cache) ചെയ്തു. ഉപയോക്താക്കൾ അപൂർവ്വമായി മാത്രമേ ഒരേ കാര്യം വീണ്ടും ചോദിക്കാറുള്ളൂ, അതിനാൽ ഇത് പരാജയപ്പെട്ടു.
പ്രശ്നം ആവർത്തനപരമായ ജോലികളാണെന്ന് ഞാൻ മനസ്സിലാക്കി. LLM ഒരേ ആശയങ്ങൾ തന്നെ വീണ്ടും വീണ്ടും പ്രോസസ്സ് ചെയ്തുകൊണ്ടിരിക്കുകയായിരുന്നു.
ഞാൻ മൂന്ന് ഘട്ടങ്ങളിലൂടെ ഇത് പരിഹരിച്ചു:
Semantic Caching വാക്കുകൾ കൃത്യമായി ഒത്തുപോകുന്നുണ്ടോ എന്ന് നോക്കുന്നത് ഞാൻ നിർത്തി. സമാനമായ ചോദ്യങ്ങൾ കണ്ടെത്താൻ ഞാൻ embeddings ഉപയോഗിക്കാൻ തുടങ്ങി. ഒരു പുതിയ ചോദ്യം പഴയ ഒന്നിനോട് 92% സാമ്യമുള്ളതാണെങ്കിൽ, ഞാൻ കാഷ് ചെയ്ത ഉത്തരം നൽകുന്നു. ഇത് 40% ഹിറ്റ് റേറ്റ് നൽകുകയും എന്റെ ചിലവുകൾ പകുതിയായി കുറയ്ക്കുകയും ചെയ്തു.
Smart Model Routing എല്ലാ കാര്യങ്ങൾക്കും GPT-4 ഉപയോഗിക്കുന്നത് ഞാൻ നിർത്തി. ഞാൻ ഒരു റൂട്ടർ (router) നിർമ്മിച്ചു. ഒരു ചോദ്യം ചെറുതും ലളിതവുമാണെങ്കിൽ, ഞാൻ കുറഞ്ഞ ചിലവുള്ള ഒരു പ്രൊവൈഡറെ ഉപയോഗിക്കുന്നു. ചോദ്യം സങ്കീർണ്ണമാണെങ്കിൽ, ഞാൻ അത് ഒരു പ്രീമിയം മോഡലിലേക്ക് അയക്കുന്നു. മിക്ക ചോദ്യങ്ങൾക്കും ഒരു ഹൈ-എൻഡ് മോഡലിന്റെ ആവശ്യമില്ല.
Prompt Trimming മോഡലിലേക്ക് ഞാൻ അയക്കുന്ന കോൺടെക്സ്റ്റിന്റെ (context) അളവ് ഞാൻ കുറച്ചു. ഏറ്റവും പ്രസക്തമായ ഡാറ്റാ ചങ്കുകൾ (data chunks) മാത്രം തിരഞ്ഞെടുക്കുന്നതിലൂടെ കോൺടെക്സ്റ്റ് സൈസ് 60% ഞാൻ കുറച്ചു.
ഫലങ്ങൾ:
- പ്രതിവാര ചിലവ് $40-ൽ നിന്ന് $7 ആയി കുറഞ്ഞു.
- കാഷ് ചെയ്തതുകൊണ്ട് റെസ്പോൺസ് സമയം വേഗത്തിലായി.
- ഉപയോക്താക്കളുടെ സംതൃപ്തി ഉയർന്ന നിലയിൽ തന്നെ തുടർന്നു.
പഠിച്ച പാഠങ്ങൾ:
- ആദ്യ ദിവസം മുതൽ തന്നെ ഒരു semantic cache നിർമ്മിക്കുക.
- നിങ്ങളുടെ ക്ലൗഡ് അക്കൗണ്ടിൽ ഉടൻ തന്നെ കോസ്റ്റ് അലേർട്ടുകൾ (cost alerts) സജ്ജമാക്കുക.
- ലളിതമായ FAQ ജോലികൾക്കായി വിലകൂടിയ മോഡലുകൾ ഉപയോഗിക്കരുത്.
AI ചേർക്കുക എന്നത് പ്രോംപ്റ്റുകളെക്കുറിച്ച് മാത്രമല്ല. അത് സാമ്പത്തിക കാര്യവുമാണ്. ഓരോ API കോളും യഥാർത്ഥ പണം ചിലവാക്കുന്നു. കാര്യക്ഷമതയ്ക്കായി നിങ്ങൾ രൂപകൽപ്പന ചെയ്തില്ലെങ്കിൽ, നിങ്ങളുടെ പ്രോജക്റ്റ് പരാജയപ്പെടും.
നിങ്ങൾ നിങ്ങളുടെ AI ചിലവുകൾ എങ്ങനെ നിയന്ത്രിക്കുന്നു?
Source: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il