എന്റെ സ്റ്റാർട്ടപ്പിനെ രക്ഷിച്ച AI API സ്റ്റാക്ക്

ആറുമാസം മുമ്പ്, ഒരു LLM പ്രൊവൈഡറിൽ നിന്ന് എനിക്ക് മാസം 50,000 ഡോളറിന്റെ ബില്ല് ലഭിച്ചു. എന്റെ സ്റ്റാർട്ടപ്പ് പ്രതിസന്ധിയിലായി. ഞങ്ങൾ ഒരു വെണ്ടറെ മാത്രം അമിതമായി ആശ്രയിച്ചിരിക്കുകയായിരുന്നു.

AI ഇൻഫ്രാസ്ട്രക്ചറിനെ യഥാർത്ഥ ഇൻഫ്രാസ്ട്രക്ചറിനെപ്പോലെ കാണണമെന്ന് ഞാൻ തിരിച്ചറിഞ്ഞു. AI-യെ ഒരു കളിപ്പാട്ടമായി കാണുന്നത് ഞാൻ നിർത്തി, പകരം അതിനെ ബിസിനസ്സിന്റെ പ്രധാന ചെലവായി കണക്കാക്കാൻ തുടങ്ങി.

മിക്ക AI ഗൈഡുകളും സ്കെയിലിംഗിനെ (scale) അവഗണിക്കുന്നു. അവ ഡെമോകൾ കാണിച്ചുതരുന്നുണ്ടെങ്കിലും യഥാർത്ഥ ബില്ലുകളെ അവഗണിക്കുന്നു. ഞാൻ രണ്ട് വർഷമായി AI ഫീച്ചറുകൾ പ്രവർത്തിപ്പിക്കുന്നുണ്ട്. ലക്ഷക്കണക്കിന് ഉപയോക്താക്കളിലേക്ക് എത്തുമ്പോൾ എന്ത് സംഭവിക്കുമെന്ന് ഞാൻ കണ്ടിട്ടുണ്ട്.

ഒന്നാം ദിവസം തന്നെ നിങ്ങൾ തെറ്റായ പ്രൊവൈഡറെ തിരഞ്ഞെടുത്താൽ, ഒരു വൈറൽ ലോഞ്ചിനെ അതിജീവിക്കാൻ നിങ്ങൾക്കായില്ലായേക്കാം.

ലക്ഷ്യം ലളിതമാണ്. നിങ്ങൾക്ക് മൂന്ന് കാര്യങ്ങൾ ആവശ്യമാണ്:

  • ഓരോ ടോക്കണിനും പ്രവചിക്കാവുന്ന ചെലവ്.
  • മോഡലുകൾ പെട്ടെന്ന് മാറ്റാനുള്ള കഴിവ്.
  • കാലാവധി കഴിയാത്ത ക്രെഡിറ്റ് സംവിധാനങ്ങൾ.

തുടക്കത്തിൽ ഞാൻ ഒരു തെറ്റ് ചെയ്തു. ഞാൻ ഒന്നിലധികം പ്രൊവൈഡർമാരുമായി നേരിട്ട് സംയോജിപ്പിച്ചു (integrated). ഓരോന്നിനും വ്യത്യസ്തമായ SDK-കളും വ്യത്യസ്തമായ auth flows-ഉം ഉണ്ടായിരുന്നു. എനിക്ക് ഒരു പുതിയ മോഡൽ പരിശോധിക്കണമെങ്കിൽ, ഞാൻ വീണ്ടും സൈൻ അപ്പ് ചെയ്യേണ്ടി വന്നു. എനിക്ക് മാറ്റം വരുത്തണമെങ്കിൽ, കോഡ് വീണ്ടും എഴുതേണ്ടി വന്നു.

ഇപ്പോൾ, ഞാൻ ഒരു യൂണിഫൈഡ് ഗേറ്റ്‌വേ (unified gateway) ഉപയോഗിക്കുന്നു. ഇത് എല്ലാം മാറ്റിമറിച്ചു.

തന്ത്രങ്ങളുടെ താരതമ്യം:

Direct Integration vs. Unified Gateway

  • Provider switching: കോഡ് വീണ്ടും എഴുതുക vs. ഒരു സ്ട്രിംഗ് മാറ്റുക
  • Payment: പ്രാദേശിക തടസ്സങ്ങൾ vs. സ്റ്റാൻഡേർഡ് കാർഡുകൾ
  • Testing: പൂർണ്ണമായ ഓൺബോർഡിംഗ് vs. ഒരു കീ ഉപയോഗിച്ചുള്ള ആക്സസ്
  • Uptime: സിംഗിൾ പോയിന്റ് ഓഫ് ഫെയിലിയർ vs. ഓട്ടോമാറ്റിക് ഫെയിലോവർ

ആവശ്യാനുസരണം ടാസ്ക്കുകൾ റൂട്ട് ചെയ്യാൻ ഒരു യൂണിഫൈഡ് ഗേറ്റ്‌വേ നിങ്ങളെ അനുവദിക്കുന്നു. എല്ലാ കാര്യങ്ങൾക്കും നിങ്ങൾക്ക് GPT-4o ആവശ്യമില്ല.

എന്റെ നിലവിലെ റൂട്ടിംഗ് ലോജിക്:

  • Summarization and extraction: ഏറ്റവും കുറഞ്ഞ ചെലവുള്ള മോഡൽ ഉപയോഗിക്കുക.
  • Simple chat: മിഡ്-ടയർ മോഡൽ ഉപയോഗിക്കുക.
  • Complex reasoning: പ്രീമിയം മോഡൽ ഉപയോഗിക്കുക.

ഞങ്ങളുടെ ഭൂരിഭാഗം ട്രാഫിക്കും ഏറ്റവും കുറഞ്ഞ ടയറിലാണ് പ്രവർത്തിക്കുന്നത്. ഇത് ഗുണനിലവാരം നിലനിർത്തിക്കൊണ്ടുതന്നെ ചെലവ് കുറയ്ക്കാൻ സഹായിക്കുന്നു. ഞങ്ങൾ ഞങ്ങളുടെ ടാസ്ക്കുകളുടെ 5% എണ്ണത്തിൽ മാത്രമാണ് പ്രീമിയം മോഡലുകൾ ഉപയോഗിക്കുന്നത്.

ഞങ്ങളുടെ വളർച്ചാ ഘട്ടത്തിൽ, ഈ റൂട്ടിംഗ് വാർഷിക ചെലവിൽ ഏകദേശം $500,000 ലാഭിക്കുന്നു. ഇത് വെറുമൊരു ടൂൾ തിരഞ്ഞെടുപ്പല്ല. ഇത് നിലനിൽപ്പിനായുള്ള ഒരു തിരഞ്ഞെടുപ്പാണ്.

എൻ്റർപ്രൈസ് ഫീച്ചറുകൾ വളരെ നേരത്തെ വാങ്ങുന്നത് നിർത്തുക. നിങ്ങൾക്ക് ഇതുവരെ എൻ്റർപ്രൈസ് ഉപഭോക്താക്കൾ ഇല്ലെങ്കിൽ SLA-കൾക്കോ ഡെഡിക്കേറ്റഡ് കപ്പാസിറ്റിക്കോ പണം നൽകരുത്. ആ പണം ലാഭിക്കുക. ആദ്യം ഫ്ലെക്സിബിലിറ്റിക്ക് (flexibility) മുൻഗണന നൽകി നിർമ്മിക്കുക.

നിങ്ങൾ സ്കെയിൽ ചെയ്യുമ്പോൾ, ഗേറ്റ്‌വേ പാറ്റേൺ ഇപ്പോഴും ഫലപ്രദമായിരിക്കും. നിങ്ങൾ നിങ്ങളുടെ API കീയും വാണിജ്യ വ്യവസ്ഥകളും മാത്രം മാറ്റിയാൽ മതി. നിങ്ങളുടെ കോഡ് മാറ്റമില്ലാതെ തുടരും.

ഒന്നാം ദിവസം തന്നെ നിങ്ങളുടെ റൂട്ടർ നിർമ്മിക്കുക. നിങ്ങളുടെ base URL സ്റ്റാൻഡേർഡൈസ് ചെയ്യുക. മോഡൽ പേരുകൾ കോഡിന്റെ ഭാഗമാക്കുന്നതിന് പകരം കോൺഫിഗറേഷന്റെ (configuration) ഭാഗമാക്കുക.

Source: https://dev.to/truelane/the-ai-api-stack-that-saved-my-startup-from-vendor-lock-in-50l6

Optional learning community: https://t.me/GyaanSetuAi