API നിരക്ക് എന്നത് വെറുമൊരു ചെലവ് മാത്രമല്ല. AI ഫീച്ചറുകൾ പുറത്തിറക്കുന്ന ടീമുകളെ സംബന്ധിച്ചിടത്തോളം ഇതൊരു ഘടനാപരമായ ഘടകമാണ് (structural variable). Novita-യും StreamLake-ഉം അവരുടെ മോഡൽ നിരക്കുകളിൽ മാറ്റം വരുത്തുമ്പോൾ, അത് ഒരു ചെറിയ ഇൻവോയ്സ് മാറ്റം മാത്രമല്ല. അത് യൂണിറ്റ് ഇക്കണോമിക്സ് പുനർനിർണ്ണയിക്കാനും, മോഡൽ തിരഞ്ഞെടുപ്പുകൾ പുനഃക്രമീകരിക്കാനും, ആർക്കിടെക്ചറൽ അനുമാനങ്ങൾ പരിശോധിക്കാനുമുള്ള ഒരു സൂചനയാണ്. നിങ്ങൾ ഈ പ്ലാറ്റ്‌ഫോമുകളിലൂടെ പ്രൊഡക്ഷൻ ട്രാഫിക് കൈകാര്യം ചെയ്യുന്നുണ്ടെങ്കിൽ, എന്താണ് മാറിയതെന്നും അതിനോട് എങ്ങനെ പ്രതികരിക്കണമെന്നും നിങ്ങൾ കൃത്യമായി അറിയേണ്ടതുണ്ട്.

പ്രൊഡക്ഷൻ വർക്ക്ലോഡുകളെ സംബന്ധിച്ചിടത്തോളം വില പുതുക്കലുകൾ പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്?

ടോക്കൺ അടിസ്ഥാനമാക്കിയുള്ള ബില്ലിംഗ് (Token-based billing) സ്കെയിൽ ചെയ്യുന്നത് വരെ വില കുറഞ്ഞതായി തോന്നും. ഒരു പ്രോട്ടോടൈപ്പിൽ ദശലക്ഷം ടോക്കണുകൾക്ക് ഏതാനും ഡോളർ എന്നത് നിസ്സാരമായി തോന്നാം. എന്നാൽ ലൈവ് ഉപയോക്താക്കൾക്കായി ദശലക്ഷക്കണക്കിന് ഔട്ട്‌പുട്ട് ടോക്കണുകൾ ഉപയോഗിക്കുമ്പോൾ, അത് നിങ്ങളുടെ ഏറ്റവും വലിയ വേരിയബിൾ ചെലവുകളിൽ ഒന്നായി മാറും. മിക്ക LLM പ്രൊവൈഡർമാരും ഇൻപുട്ട്, ഔട്ട്‌പുട്ട് ടോക്കണുകൾക്കായി പ്രത്യേകം നിരക്കുകൾ ഈടാക്കുന്നു. ഈ രണ്ട് സംഖ്യകൾ തമ്മിലുള്ള അനുപാതം, ദൈർഘ്യമേറിയ സംഭാഷണങ്ങളിലോ വലിയ ബാച്ച് ജോബുകളിലോ നിങ്ങളുടെ ആപ്ലിക്കേഷൻ അമിതമായി പണം നഷ്ടപ്പെടുത്തുന്നുണ്ടോ എന്ന് തീരുമാനിക്കുന്നു.

പ്രതിദിനം പതിനായിരം ചോദ്യങ്ങൾ കൈകാര്യം ചെയ്യുന്ന ഒരു കസ്റ്റമർ സപ്പോർട്ട് അസിസ്റ്റന്റിനെ പരിഗണിക്കുക. ശരാശരി ഒരു സംഭാഷണത്തിൽ രണ്ടായിരം ഇൻപുട്ട് ടോക്കണുകളും അഞ്ഞൂറ് ഔട്ട്‌പുട്ട് ടോക്കണുകളും ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ, ആയിരം ടോക്കണുകൾക്ക് ഒരു സെന്റിൻ്റെ ചെറിയൊരു മാറ്റം പോലും നിങ്ങളുടെ പ്രതിമാസ ബില്ലിൽ നൂറുകണക്കിന് ഡോളറുകളുടെ വ്യത്യാസം വരുത്തും. Retrieval-augmented generation context, system prompts, multi-turn memory എന്നിവ കൂടി ചേർക്കുമ്പോൾ, ഇൻപുട്ട് ഭാഗത്തെ ചെലവ് പ്രതീക്ഷിച്ചതിലും വേഗത്തിൽ വർദ്ധിച്ചേക്കാം. ഈ ആർക്കിടെക്ചറിൽ ഔട്ട്‌പുട്ട് ടോക്കണുകളേക്കാൾ ഇൻപുട്ട് ടോക്കണുകളുടെ വില വർദ്ധിക്കുന്നത് കൂടുതൽ ആഘാതം സൃഷ്ടിക്കുന്നു. നേരെമറിച്ച്, ഔട്ട്‌പുട്ട് ടോക്കണുകളുടെ വില കുറയുന്നത് ചാറ്റ്-അധിഷ്ഠിത ആപ്ലിക്കേഷനുകൾക്ക് വലിയ ഗുണം ചെയ്യും.

ഒരു മോഡൽ അഗ്രഗേറ്റർ (model aggregator) ആയി പ്രവർത്തിക്കുന്ന Novita, ഡെവലപ്പർമാർക്ക് ഒരൊറ്റ എൻഡ്പോയിൻ്റിലൂടെ വിവിധ ഓപ്പൺ-വെയ്റ്റ് (open-weight), പ്രൊപ്രൈറ്ററി (proprietary) മോഡലുകൾ ലഭ്യമാക്കുന്നു. ആ സൗകര്യം വിലപ്പെട്ടതാണെങ്കിലും, വിലയിലുണ്ടാകുന്ന മാറ്റങ്ങൾ ഒരേസമയം ഒന്നിലധികം മോഡൽ ഫാമിലികളെ ബാധിച്ചേക്കാം എന്നാണ് ഇതിനർത്ഥം. ByteDance-ൻ്റെ ഇൻഫ്രാസ്ട്രക്ചർ ഇക്കോസിസ്റ്റത്തിൽ അധിഷ്ഠിതമായ StreamLake, തങ്ങളുടെ ക്ലൗഡ്, മീഡിയ സേവനങ്ങളോടൊപ്പം LLM ആക്സസ്സും നൽകുന്നു. അവിടെയുള്ള വില ക്രമീകരണങ്ങൾ ഒറ്റപ്പെട്ടതല്ല; ആ സ്റ്റാക്ക് ഉപയോഗിക്കുന്ന ടീമുകളുടെ മൊത്തത്തിലുള്ള ചെലവിനെ (total cost of ownership) അവ ബാധിക്കുന്നു.

Novita-യിലും StreamLake-ലും എന്താണ് മാറിയത്?

Novita-യും StreamLake-ഉം വിലയെ സ്ഥിരമായ ഒന്നായി കാണുന്നില്ല. രണ്ടും തങ്ങളുടെ മോഡൽ നിരക്കുകൾ പുതുക്കിയിട്ടുണ്ട്, കൂടാതെ മോഡൽ ടയർ (tier), ടോക്കൺ തരം എന്നിവ അനുസരിച്ച് ഇതിൽ വ്യത്യാസമുണ്ടാകാം. പുതിയ നിരക്കുകൾ (rate cards) പരിശോധിക്കുന്നത് വരെ നിങ്ങളുടെ നിലവിലെ പ്രോജക്റ്റ് എസ്റ്റിമേറ്റുകൾ പഴയതാണെന്ന് കരുതുന്നതാണ് ഉചിതം.

Novita-യുടെ കാര്യത്തിൽ, ഈ മാറ്റങ്ങൾ നിങ്ങൾ ഉപയോഗിക്കുന്ന ഫ്രോണ്ടിയർ മോഡലുകൾക്കാണോ (frontier models) അതോ നിങ്ങളുടെ ഭൂരിഭാഗം ട്രാഫിക്കും കൈകാര്യം ചെയ്യുന്ന കുറഞ്ഞ നിരക്കിലുള്ള ഓപ്ഷനുകൾക്കാണോ എന്ന് ശ്രദ്ധിക്കുക. മോഡലുകൾ അപ്‌ഡേറ്റ് ചെയ്യപ്പെടുമ്പോഴോ ഹാർഡ്‌വെയർ വ്യവസ്ഥകൾ മാറുന്നതിനനുസരിച്ചോ തങ്ങളുടെ ഇൻഫറൻസ് ചെലവുകൾ (inference costs) പ്രതിഫലിപ്പിക്കാൻ അഗ്രഗേറ്റർമാർ പലപ്പോഴും വില ക്രമീകരിക്കാറുണ്ട്. ഇന്നലെ വരെ ചെലവ് കുറഞ്ഞ ഒരു മോഡൽ ഇന്ന് മറ്റൊരു വിഭാഗത്തിൽ ഉൾപ്പെട്ടേക്കാം.

നിങ്ങൾ StreamLake-ൻ്റെ ക്ലൗഡ് ഇൻഫ്രാസ്ട്രക്ചറിനൊപ്പം LLM ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ, അവിടുത്തെ വില ക്രമീകരണങ്ങൾ കൂടുതൽ പ്രധാനമാണ്. കമ്പ്യൂട്ട്, സ്റ്റോറേജ് ചെലവുകൾ മാറ്റമില്ലാതെ തുടർന്നാലും, മോഡൽ വിലയിലെ മാറ്റങ്ങൾ നിങ്ങളുടെ പ്രതിമാസ മൊത്തം ചെലവിൽ വ്യത്യാസം വരുത്തിയേക്കാം. വലിയൊരു ByteDance ഇക്കോസിസ്റ്റത്തിനുള്ളിൽ StreamLake ഉപയോഗിക്കുന്ന ടീമുകൾ, പുതിയ നിരക്കുകൾ തങ്ങളുടെ നിലവിലുള്ള കരാറുകളെ ബാധിക്കുന്നുണ്ടോ അതോ pay-as-you-go ടയറുകളെ മാത്രമാണോ ബാധിക്കുന്നത് എന്ന് പരിശോധിക്കേണ്ടതുണ്ട്.

നിങ്ങളുടെ സ്റ്റാക്കിലുള്ള (Stack) ആഘാതം എങ്ങനെ പരിശോധിക്കാം?

നിങ്ങളുടെ ആദ്യ പടി കഴിഞ്ഞ മുപ്പത് ദിവസത്തെ ഉപയോഗ വിവരങ്ങൾ (usage logs) എടുത്ത് പുതിയ നിരക്കുകളുമായി താരതമ്യം ചെയ്യുക എന്നതാണ്. വെറും ശതമാനം മാത്രം നോക്കിയാൽ പോരാ. അതിനെ താഴെ പറയുന്ന രീതിയിൽ തരംതിരിക്കുക:

  • ഇൻപുട്ട് ടോക്കൺ നിരക്കുകളും ഔട്ട്‌പുട്ട് ടോക്കൺ നിരക്കുകളും തമ്മിലുള്ള വ്യത്യാസം
  • കോൺടെക്സ്റ്റ് കാഷിംഗ് ചാർജുകൾ (context caching charges), ഉണ്ടെങ്കിൽ