Whisper വേഴ്സസ് API: ഒരു “സൗജന്യ” മോഡൽ എപ്പോഴാണ് ഏറ്റവും വലിയ ചിലവായി മാറുന്നത്?

നിങ്ങളുടെ ടീം AssemblyAI ബില്ല് കാണുന്നു. ആരെങ്കിലും ചോദിക്കുന്നു: "പണം ലാഭിക്കാൻ നമുക്ക് Whisper തന്നെ ഹോസ്റ്റ് ചെയ്തൂടെ?"

ഇത് കേൾക്കുമ്പോൾ ലളിതമായി തോന്നാം. ഒരു ചെക്ക്‌പോയിന്റ് ഡൗൺലോഡ് ചെയ്യുക. ഒരു കമാൻഡ് റൺ ചെയ്യുക. ഒരു ഉച്ചകഴിഞ്ഞ് തന്നെ എല്ലാം തീർക്കാം.

എന്നാൽ യഥാർത്ഥ ചോദ്യം ഇതാണ്: അടുത്ത രണ്ട് വർഷത്തേക്ക് ആ എൻഡ്‌പോയിന്റ് (endpoint) പ്രവർത്തിപ്പിക്കാൻ എത്ര ചിലവ് വരും?

എന്തുകൊണ്ടാണ് API ബില്ല് കുറഞ്ഞതായി തോന്നുന്നത്

മാനേജ്ഡ് ട്രാൻസ്ക്രിപ്ഷൻ സേവനങ്ങൾ പ്രോസസ്സ് ചെയ്യുന്ന ഓഡിയോയുടെ സെക്കൻഡുകൾക്ക് അനുസരിച്ചാണ് ചാർജ് ചെയ്യുന്നത്. ഉദാഹരണത്തിന്, AssemblyAI അതിന്റെ അസിൻക്രണസ് പൈപ്പ്‌ലൈനിലൂടെ (asynchronous pipeline) കടന്നുപോകുന്ന ഓരോ മണിക്കൂർ ഉള്ളടക്കത്തിനും ഏകദേശം $0.15 – $0.21 ആണ് ഈടാക്കുന്നത്. ഈ കണക്കുകൾക്ക് പിന്നിൽ വലിയൊരു ജോലിയുണ്ട്: പ്രൊവൈഡർ ഇൻഫറൻസ് ഹാർഡ്‌വെയർ പരിപാലിക്കുന്നു, ശബ്ദത്തിലെ തടസ്സങ്ങൾ നീക്കം ചെയ്യുന്നു, സംസാരിക്കുന്നവരെ വേർതിരിക്കുന്നു, എൻ്റേറ്റികൾ (entities) ഫോർമാറ്റ് ചെയ്യുന്നു (ക്രെഡിറ്റ് കാർഡ് നമ്പറുകൾ, ഇമെയിലുകൾ, വെരിഫിക്കേഷൻ കോഡുകൾ), തത്സമയം ഫലങ്ങൾ സ്ട്രീം ചെയ്യുന്നു, കൂടാതെ 24 × 7 സേവനം നിരീക്ഷിക്കുകയും ചെയ്യുന്നു. നിങ്ങൾ ലഭിക്കുന്ന ഇൻവോയ്സ് ഇവയെല്ലാം ഉൾക്കൊള്ളുന്ന ഒരു ലളിതമായ സെക്കൻഡ് നിരക്കാണ്.

GPU വിലയുടെ യഥാർത്ഥ അർത്ഥമെന്താണ്

Whisper Large-v3 ഒരു സിംഗിൾ A100 അല്ലെങ്കിൽ H100 GPU-വിൽ പ്രവർത്തിപ്പിക്കാം. ക്ലൗഡ് പ്രൊവൈഡർമാർ ഈ കാർഡുകൾക്ക് മണിക്കൂറിന് $2 – $4 ആണ് ഈടാക്കുന്നത്. എന്നാൽ ഇതിലെ പ്രശ്നം, ചിപ്പ് ഉപയോഗിക്കാതെ ഇരിക്കുമ്പോഴും നിങ്ങൾ മുഴുവൻ മണിക്കൂർ നിരക്കും നൽകേണ്ടി വരും എന്നതാണ്. നിങ്ങളുടെ വർക്ക്ലോഡ് GPU ശേഷിയുടെ 15% മാത്രമേ ഉപയോഗിക്കുന്നുള്ളൂ എങ്കിൽ പോലും, നിങ്ങൾ മുഴുവൻ $2 – $4 നിരക്കും നൽകണം.

നിങ്ങൾ ഏറ്റെടുക്കേണ്ട എഞ്ചിനീയറിംഗ് ബാധ്യതകൾ

സെൽഫ്-ഹോസ്റ്റിംഗ് എന്നത് ഒരു മോഡൽ ചെക്ക്‌പോയിന്റ് ലോഞ്ച് ചെയ്യുന്നതിൽ മാത്രം അവസാനിക്കുന്നില്ല. ഇതിന് പിന്നിലെ മറഞ്ഞിരിക്കുന്ന ജോലികൾ ഹാർഡ്‌വെയർ ചിലവിനേക്കാൾ വേഗത്തിൽ വർദ്ധിക്കുന്നു.

  • Speaker diarization – ഓപ്പൺ സോഴ്സ് Whisper ശബ്ദങ്ങളെ വേർതിരിക്കുന്നില്ല. വിശ്വസനീയമായ ഒരു ഡയറൈസേഷൻ പൈപ്പ്‌ലൈൻ നിർമ്മിക്കാൻ പ്രത്യേക മോഡലും ഡാറ്റയും നിരന്തരമായ ട്യൂണിംഗും ആവശ്യമാണ്.
  • Streaming support – Whisper മുഴുവൻ ഫയലുകളും അസിൻക്രണസ് ആയിട്ടാണ് പ്രോസസ്സ് ചെയ്യുന്നത്. തത്സമയ ക്യാപ്ഷനുകൾക്കോ വോയ്‌സ് ഏജന്റ് മറുപടികൾക്കോ ബാക്ക്-പ്രഷർ ഹാൻഡ്‌ലിംഗും (back-pressure handling) ലേറ്റൻസി മോണിറ്ററിംഗും ഉൾപ്പെടെയുള്ള ഒരു കസ്റ്റം സ്ട്രീമിംഗ് ലെയർ ആവശ്യമാണ്.
  • Entity formatting – റ）」 ട്രാൻസ്ക്രിപ്റ്റുകളിൽ സെൻസിറ്റീവ് ആയ വിവരങ്ങൾ മാസ്ക് ചെയ്യാനോ (mask) റീഫോർമാറ്റ് ചെയ്യാനോ ഉള്ള ലോജിക് ഇല്ല. ക്രെഡിറ്റ് കാർഡ് നമ്പറുകൾ, ഇമെയിൽ വിലാസങ്ങൾ അല്ലെങ്കിൽ OTP കോഡുകൾ എന്നിവയ്ക്കായി നിയമങ്ങൾ ചേർക്കുന്നത് വലിയൊരു എഞ്ചിനീയറിംഗ് പ്രയത്നമാണ്, ഒരൊറ്റ തെറ്റ് പോലും ട്രാൻസ്ക്രിപ്റ്റിനെ ഉപയോഗശൂന്യമാക്കിയേക്കാം.
  • Reliability engineering – ഒരു GPU-വിൽ പ്രവർത്തിക്കുന്ന ഒരു ഡെമോ നിർമ്മിക്കുന്നത് എളുപ്പമാണ്; എന്നാൽ ഒരു പ്രൊഡക്ഷൻ സർവീസ് എന്നത് കൺകറൻസി (concurrency), റീട്രൈകൾ (retries), സീറോ-ഡൗൺടൈം അപ്‌ഗ്രേഡുകൾ, അലേർട്ടിംഗ് എന്നിവ ഒരേസമയം കൈകാര്യം ചെയ്യേണ്ട ഒന്നാണ്.

സെൽഫ്-ഹോസ്റ്റിംഗ് എപ്പോഴാണ് ലാഭകരമാകുന്നത്

ചില പ്രത്യേക സാഹചര്യങ്ങളിൽ മാത്രമേ കണക്കുകൾ ലാഭകരമാകൂ:

  • അമിതമായതും തുടർച്ചയായതുമായ ബാച്ച് പ്രോസസ്സിംഗ് – മാസങ്ങളോളം ഒരു GPU ഏകദേശം 100% ഉപയോഗത്തിൽ നിലനിർത്താൻ ആവശ്യമായ ഓഡിയോ നിങ്ങളുടെ പക്കലുണ്ടെങ്കിൽ, മണിക്കൂർ അടിസ്ഥാനത്തിലുള്ള ഹാർഡ്‌വെയർ ചാർജ് വലിയ അളവിലുള്ള ട്രാൻസ്ക്രിപ്ഷനുകളിലേക്ക് വിഭജിക്കപ്പെടും (amortized). ഇത് ഓരോ ഓഡിയോയ്ക്കും വരുന്ന ചിലവ് API നിരക്കിനേക്കാൾ കുറയ്ക്കും.
  • കർശനമായ ഡാറ്റാ പ്രൈവസി നിയമങ്ങൾ – ഓഡിയോ നിങ്ങളുടെ സ്ഥാപനത്തിന് പുറത്തേക്ക് പോകുന്നത് തടയുന്ന നിയമങ്ങൾ ഉണ്ടെങ്കിൽ, ചിലവ് എത്രയായാലും പ്രോസസ്സിംഗ് ഇൻ-ഹൗസ് ആയി തന്നെ നടത്താൻ നിങ്ങൾ നിർബന്ധിതരാകും.
  • പ്രോട്ടോടൈപ്പിംഗിനായി പൂർണ്ണമായ മോഡൽ നിയന്ത്രണം – Whisper-ന്റെ ആർക്കിടെക്ചർ മാറ്റാനോ, പ്രോംപ്റ്റുകൾ ക്രമീകരിക്കാനോ, അല്ലെങ്കിൽ സ്വന്തം ഡാറ്റ ഉപയോഗിച്ച് ഫൈൻ ട്യൂൺ ചെയ്യാനോ ആവശ്യമായ പ്രാരംഭ ഘട്ട പരീക്ഷണങ്ങൾക്ക് ചെക്ക്‌പോയിന്റ് നേരിട്ട് കൈവശം വയ്ക്കുന്നത് ഗുണകരമാണ്.

ഈ സാഹചര്യങ്ങൾ ഒഴികെയാണെങ്കിൽ, “സൗജന്യ” മോഡൽ ഏറ്റവും വലിയ ചിലവായി മാറും. കാരണം മറഞ്ഞിരിക്കുന്ന എഞ്ചിനീയറിംഗ് ബാധ്യതകളും ഉപയോഗിക്കപ്പെടാത്ത GPU സമയവും API-യുടെ ചെറിയ സെക്കൻഡ് നിരക്കിനേക്കാൾ വളരെ കൂടുതലായിരിക്കും.

ചുരുക്കത്തിൽ: Whisper-ന് ലൈസൻസ് ഫീസില്ല എന്നത് ആകർഷകമാണ്, എന്നാൽ അതിന്റെ ആകെ ചിലവിൽ (total cost of ownership) GPU വില, ഉപയോഗിക്കാത്ത സമയം, കൂടാതെ മിക്ക ടീമുകളും ട്രാൻസ്ക്രിപ്ഷൻ API-കൾക്ക് നൽകുന്ന എഞ്ചിനീയറിംഗ് ജോലികളും ഉൾപ്പെടുന്നു. ഹാർഡ്‌വെയർ പൂർണ്ണമായി ഉപയോഗിക്കാൻ കഴിയുമ്പോഴോ, ഡാറ്റ സ്വന്തം സ്ഥാപനത്തിൽ തന്നെ സൂക്ഷിക്കേണ്ടി വരുമ്പോഴോ, അല്ലെങ്കിൽ മോഡലിന്മേൽ ആഴത്തിലുള്ള നിയന്ത്രണം ആവശ്യപ്പെടുമ്പോഴോ മാത്രമേ സെൽഫ്-ഹോസ്റ്റിംഗ് ലാഭകരമാകൂ. അല്ലാത്തപക്ഷം, നിങ്ങളുടെ ട്രാൻസ്ക്രിപ്ഷൻ ബജറ്റിലെ ഏറ്റവും വലിയ ചിലവ് ഈ “സൗജന്യ” മോഡലായിരിക്കും.