Large language model പ്രൈസിംഗ് പുറമെ നോക്കുമ്പോൾ ലളിതമായി തോന്നും. നിങ്ങൾ ടോക്കണുകൾക്ക് പണം നൽകുന്നു. എന്നാൽ പ്രൊഡക്ഷൻ വർക്ക് ലോഡുകൾ കൈകാര്യം ചെയ്യുന്നവർക്ക് ഇതിന്റെ സങ്കീർണ്ണത അറിയാം. വലിയ മുന്നറിയിപ്പുകളൊന്നുമില്ലാതെ നിരക്കുകൾ മാറുന്നു. ബില്ലിംഗ് ടയറുകൾ പുനഃക്രമീകരിക്കപ്പെടുന്നു. ഒരു സെന്റിൻ്റെ ചെറിയൊരു ഭാഗം ഇവിടെയും അവിടെയും മാറുന്നു, പെട്ടെന്ന് നിങ്ങളുടെ മാസ ചെലവ് ഇരുപത് ശതമാനം വരെ വർദ്ധിക്കുന്നു. അതുകൊണ്ടാണ് Ambient, Novita, StreamLake എന്നീ മൂന്ന് പ്രൊവൈഡർമാരുടെ പുതിയ പ്രൈസിംഗ് അപ്ഡേറ്റുകൾ നിങ്ങൾ അടിയന്തരമായി ശ്രദ്ധിക്കേണ്ടത്. നിങ്ങൾ ഈ പ്ലാറ്റ്ഫോമുകളിൽ ഏതെങ്കിലും ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ, കഴിഞ്ഞ മാസം നിങ്ങൾ കണക്കാക്കിയ ബജറ്റ് ഇനി പ്രസക്തമല്ല.
ടോക്കൺ ഇക്കണോമിക്സിലെ മറഞ്ഞിരിക്കുന്ന ഭാരം
മിക്ക ഡെവലപ്പർമാരും അടിസ്ഥാന നിരക്കിൽ (base rate) മാത്രം ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. ഇൻപുട്ട് ടോക്കണുകൾക്ക് ഇത്രയും, ഔട്ട്പുട്ട് ടോക്കണുകൾക്ക് അത്രയും - ഇത്രയേയുള്ളൂ എന്ന് അവർ കരുതുന്നു. എന്നാൽ സത്യം അതല്ല. ഒരു LLM ഇന്റഗ്രേഷന്റെ യഥാർത്ഥ ചിലവിൽ റീട്രൈ ലോജിക് (retry logic), പരാജയപ്പെട്ട റിക്വസ്റ്റുകൾക്കുള്ള ബില്ലിംഗ്, കോൺടെക്സ്റ്റ് വിൻഡോ പാഡിംഗ് (context window padding), ഓരോ തവണയും നിങ്ങളുടെ ഇൻപുട്ട് അലോക്കേഷനെ ബാധിക്കുന്ന സിസ്റ്റം പ്രോംപ്റ്റുകൾ എന്നിവയും ഉൾപ്പെടുന്നു. ഒരു പ്രൊവൈഡർ അവരുടെ നിരക്കുകൾ പുതുക്കുമ്പോൾ, എല്ലാ നിരക്കുകളും ഒരേപോലെ വർദ്ധിപ്പിക്കാറില്ല. ചിലപ്പോൾ ഇൻപുട്ട് നിരക്ക് കുറയുകയും ഔട്ട്പുട്ട് നിരക്ക് കൂടുകയും ചെയ്തേക്കാം. ചിലപ്പോൾ ലോംഗ്-കോൺടെക്സ്റ്റ് മോഡലുകൾ മറ്റൊരു ടയറിലേക്ക് മാറാം. ചിലപ്പോൾ മാറ്റം ടോക്കൺ നിരക്കിലല്ല, മറിച്ച് മിനിമം കമ്പ്യൂട്ട് ചാർജിലോ ബാച്ച് പ്രോസസ്സിംഗ് ഡിസ്കൗണ്ടിലോ ആയിരിക്കാം.
നിങ്ങൾ ഒരു ടീമിന് വേണ്ടി ചിലവുകൾ നിയന്ത്രിക്കുന്ന ആളാണെങ്കിൽ, ഈ മാറ്റങ്ങളെ ചെറിയ കാര്യങ്ങളായല്ല, മറിച്ച് ഇൻഫ്രാസ്ട്രക്ചർ മാറ്റങ്ങളായി കാണണം. ഒരു പ്രൈസിംഗ് പേജ് എന്നത് ഡോളറിൽ എഴുതപ്പെട്ട ഒരു സർവീസ് ലെവൽ അഗ്രിമെന്റ് (SLA) ആണ്. അത് മാറുമ്പോൾ, നിങ്ങളുടെ ആർക്കിടെക്ചറും അതിനനുസരിച്ച് മാറേണ്ടി വന്നേക്കാം.
Ambient-ന്റെ പ്രൈസിംഗ് അപ്ഡേറ്റ്
Ambient അവരുടെ മോഡൽ പ്രൈസിംഗിൽ മാറ്റം വരുത്തിയിട്ടുണ്ട്, അതുകൊണ്ട് തന്നെ അവരുടെ എൻഡ്പോയിന്റുകൾ (endpoints) ഉപയോഗിച്ച് പ്രവർത്തിക്കുന്ന ഏത് ഇന്റഗ്രേഷനും പുനഃപരിശോധിക്കേണ്ടതുണ്ട്. ആദ്യം ലളിതമായ കാര്യങ്ങളിൽ നിന്ന് തുടങ്ങുക: പുതിയ ഇൻപുട്ട്, ഔട്ട്പുട്ട് നിരക്കുകളെ നിങ്ങളുടെ അവസാന ഇൻവോയിസുമായി താരതമ്യം ചെയ്യുക. ഓർമ്മയെ മാത്രം ആശ്രയിക്കരുത്. രണ്ട് പേജുകളും അടുത്തടുത്തായി തുറന്നു വെച്ച് പരിശോധിക്കുക.
കോൺടെക്സ്റ്റ് വിൻഡോ പ്രൈസിംഗിൽ (context-window pricing) പ്രത്യേകം ശ്രദ്ധിക്കുക. ചില പ്രൊവൈഡർമാർ 4K ടോക്കണുകൾ വരെ ഒരു നിശ്ചിത നിരക്ക് ഈടാക്കുകയും, തുടർന്ന് 8K, 32K അല്ലെങ്കിൽ 128K പരിധികളിൽ നിരക്ക് വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു. Ambient ഈ ടയറുകൾ കർശനമാക്കുകയോ പുതിയവ ചേർക്കുകയോ ചെയ്തിട്ടുണ്ടെങ്കിൽ, നിങ്ങളുടെ ലോംഗ്-ഡോക്യുമെന്റ് സമ്മറൈസേഷൻ ജോലികൾക്ക് (long-document summarization jobs) നിങ്ങളുടെ Q&A ബോട്ടുകളെക്കാൾ വലിയ ചിലവ് വന്നേക്കാം. കൂടാതെ, ഔട്ട്പുട്ട് ടോക്കൺ എന്ന നിർവചനത്തിൽ അവർ മാറ്റം വരുത്തിയിട്ടുണ്ടോ എന്നും പരിശോധിക്കുക. ചില വെണ്ടർമാർ ഇന്റേണൽ റീസണിംഗ് (internal reasoning) അല്ലെങ്കിൽ ടൂൾ-കോളിംഗ് (tool-calling) ടോക്കണുകൾ ഔട്ട്പുട്ട് ആയി ബിൽ ചെയ്യുന്നു; മറ്റു ചിലർ അങ്ങനെ ചെയ്യുന്നില്ല. ഈ അവ്യക്തത പെട്ടെന്ന് ഇൻവോയിസിലെ അപ്രതീക്ഷിത ചിലവുകളായി മാറും.
നിങ്ങൾ റെസ്പോൺസുകൾ കാഷെ (cache) ചെയ്യുന്നുണ്ടെങ്കിൽ, Ambient അവരുടെ കാഷെ ഹിറ്റ് പ്രൈസിംഗിൽ (cache hit pricing) മാറ്റം വരുത്തിയിട്ടുണ്ടോ എന്ന് പരിശോധിക്കുക. ചില പ്രൊവൈഡർമാർ ആവർത്തിച്ചുള്ള പ്രോംപ്റ്റുകൾക്ക് ഡിസ്കൗണ്ട് നൽകാറുണ്ട്. ആ ഡിസ്കൗണ്ട് കുറഞ്ഞുവെങ്കിൽ, നിങ്ങളുടെ ഡ്യൂപ്ലിക്കേഷൻ സ്ട്രാറ്റജി (deduplication strategy) കൂടുതൽ ശക്തമാക്കേണ്ടി വന്നേക്കാം.
Novita-യുടെ Inference Rates
ഡെവലപ്പർമാർക്ക് ഏകീകൃത എൻഡ്പോയിന്റുകളിലൂടെ (unified endpoints) വിവിധ മോഡലുകൾ ഉപയോഗിക്കാൻ കഴിയുന്ന ഒരു ഇൻഫറൻസ് പ്ലാറ്റ്ഫോമായിട്ടാണ് Novita പ്രവർത്തിക്കുന്നത്. ആ സൗകര്യം വിലപ്പെട്ടതാണെങ്കിലും, പ്രൈസിംഗ് മാറ്റങ്ങൾ ഒരേസമയം ഒന്നിലധികം മോഡൽ ഫാമിലികളെ ബാധിച്ചേക്കാം എന്നാണ് ഇതിനർത്ഥം. Novita-യുടെ പുതുക്കിയ നിരക്കുകൾ ചെറിയ എംബെഡിംഗ് മോഡലുകൾ (embedding models) മുതൽ വലിയ റീസണിംഗ് എഞ്ചിനുകൾ (reasoning engines) വരെയുള്ള എല്ലാറ്റിനെയും ബാധിച്ചേക്കാം.
നിങ്ങളുടെ ഉപയോഗത്തിന്റെ ലോഗുകൾ (usage logs) എടുത്ത് അവയെ മോഡലുകൾ തിരിച്ച് ഗ്രൂപ്പ് ചെയ്യുക. ജനറൽ ചാറ്റ് മോഡലുകളുടെ നിരക്ക് മാറ്റമില്ലാതെ നിലനിർത്തിക്കൊണ്ട് തന്നെ, വിഷൻ (vision) അല്ലെങ്കിൽ കോഡ്-സ്പെസിഫിക് (code-specific) മോഡലുകളുടെ നിരക്ക് Novita വർദ്ധിപ്പിച്ചിട്ടുണ്ടാകാം. അല്ലെങ്കിൽ നിങ്ങളുടെ യൂറോപ്യൻ ട്രാഫിക് കൂടുതൽ ചിലവേറിയ നോഡുകളിലൂടെ (nodes) റൂട്ട് ചെയ്യുന്ന റീജിയണൽ പ്രൈസിംഗ് അവർ അവതരിപ്പിച്ചിട്ടുണ്ടാകാം. നിങ്ങളുടെ ആപ്ലിക്കേഷനിൽ മോഡലുകൾ ഹാർഡ്കോഡ് ചെയ്തിട്ടുണ്ടെങ്കിൽ, ഒരു മോഡലിന്റെ നിരക്ക് വർദ്ധിക്കുന്നത് അല്പം സാവധാനത്തിലുള്ള മറ്റൊരു മോഡലിനെ തിരഞ്ഞെടുക്കാൻ നിങ്ങളെ പ്രേരിപ്പിച്ചേക്കാം.
ത്രൂപുട്ട് ചാർജുകളിൽ (throughput charges) ശ്രദ്ധിക്കുക. Novita പോലുള്ള പ്ലാറ്റ്ഫോമുകൾ ചിലപ്പോൾ ടോക്കൺ ചിലവിനെ ഡെലിവറി സ്പീഡിൽ നിന്ന് വേർതിരിക്കുന്നു. നിങ്ങൾ പ്രീമിയം ലോ-ലാറ്റൻസി എൻഡ്പോയിന്റുകൾക്കായി (premium low-latency endpoints) പണം നൽകുന്നുണ്ടെങ്കിൽ, ആ സർചാർജ് വർദ്ധിച്ചിട്ടുണ്ടോ എന്ന് പരിശോധിക്കുക. ബാച്ച് അല്ലെങ്കിൽ ഓഫ്ലൈൻ വർക്ക് ലോഡുകൾക്കായി,