Xiaomi MiMo-V2.5 പുറത്തിറക്കി. ഓഡിയോ, ഇമേജ്, വീഡിയോ എന്നിവയെ നേറ്റീവ് ടോക്കണുകളായി പരിഗണിക്കുന്ന ഒരു ഓപ്പൺ-വെയിറ്റ് മൾട്ടിമോഡൽ മോഡലാണിത്. 1,050,000 ടോക്കണുകൾ ഉൾക്കൊള്ളാൻ കഴിയുന്ന കോൺടെക്സ്റ്റ് വിൻഡോയും, ഒരു ദശലക്ഷം ഇൻപുട്ട് ടോക്കണുകൾക്ക് $0.14, ഒരു ദശലക്ഷം ഔട്ട്പുട്ട് ടോക്കണുകൾക്ക് $0.28 എന്ന നിരക്കിലുള്ള പേ-ആസ്-യു-ഗോ (pay-as-you-go) വിലയും ഇത് വാഗ്ദാനം ചെയ്യുന്നു. സ്വന്തം സെർവറുകളിൽ (on-premise) പ്രവർത്തിപ്പിക്കാൻ ആഗ്രഹിക്കുന്ന, മീഡിയാ-ഹെവി AI ആവശ്യമായ സ്ഥാപനങ്ങളെയാണ് ഇത് ലക്ഷ്യമിടുന്നത്.

എന്തുകൊണ്ടാണ് പുതിയൊരു മൾട്ടിമോഡൽ സമീപനം പ്രധാനമാകുന്നത്

നിലവിലുള്ള മിക്ക മൾട്ടിമോഡൽ സംവിധാനങ്ങളും ഒരുതരം കബളിപ്പിക്കലാണ് നടത്തുന്നത്. അവ ആദ്യം ഒരു സ്പീച്ച്-ടു-ടെക്സ്റ്റ് എൻജിൻ പ്രവർത്തിപ്പിക്കുന്നു, തുടർന്ന് ചിത്രങ്ങളെ ക്യാപ്ഷനുകളാക്കി മാറ്റുന്ന ഒരു വിഷൻ മോഡൽ ഉപയോഗിക്കുന്നു, ഒടുവിൽ ലഭിക്കുന്ന ടെക്സ്റ്റ് ഒരു ലാർജ് ലാംഗ്വേജ് മോഡലിലേക്ക് (LLM) നൽകുന്നു. ഇവിടെ LLM-ന് യഥാർത്ഥ ശബ്ദതരംഗങ്ങളോ പിക്സൽ ഡാറ്റയോ കാണാൻ കഴിയില്ല. അതിനാൽ ഒരു നെടുവീർപ്പ്, ഒരു ചെറിയ ഇടവേള, മുഖത്തെ ചലനങ്ങൾ അല്ലെങ്കിൽ കൈകളുടെ ചലനം തുടങ്ങിയ സൂക്ഷ്മമായ കാര്യങ്ങൾ നഷ്ടപ്പെടുന്നു. MiMo-V2.5 ഈ വഴിതിരിവ് ഒഴിവാക്കുന്നു: ഇത് ഓഡിയോയും വീഡിയോയും നേരിട്ട് "ടോക്കണുകളായി" സ്വീകരിക്കുന്നു, അതുവഴി ഒരു ട്രാൻസ്ക്രിപ്റ്റിന് പകരം സമയക്രമം, ശബ്ദശൈലി, കാഴ്ചാ സൂചനകൾ എന്നിവ കൃത്യമായി നിലനിർത്തുന്നു.

സാങ്കേതിക വശങ്ങൾ

  • ടോക്കൺ വിൻഡോ: 1,050,000 ടോക്കണുകൾ – മണിക്കൂറുകൾ നീളുന്ന മീറ്റിംഗ് റെക്കോർഡിംഗുകളെ കഷണങ്ങളാക്കാതെ തന്നെ പ്രോസസ്സ് ചെയ്യാൻ ഇത് മതിയാകും.
  • സെൽഫ്-ഹോസ്റ്റിംഗ്: കമ്പനിയുടെ സ്വന്തം സെർവറുകളിൽ ഈ മോഡൽ ഉപയോഗിക്കാം, അതിനാൽ യഥാർത്ഥ മീഡിയ ഫയലുകൾ പുറത്തേക്ക് പോകില്ല.
  • വില: ഒരു ദശലക്ഷം ഇൻപുട്ട് ടോക്കണുകൾക്ക് $0.14, ഒരു ദശലക്ഷം ഔട്ട്പുട്ട് ടോക്കണുകൾക്ക് $0.28 – ഉപയോഗത്തിനനുസരിച്ച് മാറുന്ന സുതാര്യമായ നിരക്ക്.

ടെക്സ്റ്റ് മാത്രമുള്ള കോറിന്റെ ഒരു പ്രാഥമിക പരിശോധനയിൽ (sanity check), മോഡൽ ഒരു ക്ലാസിക് മെർജ്-ഇന്റർവൽ കോഡിംഗ് പ്രോബ്ലം പ്രതീക്ഷിച്ച O(n log n) അൽഗോരിതം ഉപയോഗിച്ച് പരിഹരിച്ചു, ഒരു ടാങ്ക് നിറയ്ക്കുന്ന നിരക്കുമായി ബന്ധപ്പെട്ട ഗണിത പ്രശ്നം ഘട്ടം ഘട്ടമായി കണക്കാക്കി, കൂടാതെ ഒരു ഇൻവോയ്സിൽ നിന്ന് തെറ്റില്ലാതെ ഒരു JSON പേലോഡ് വേർതിരിച്ചെടുത്തു. ആ പരിശോധനയിൽ ഓഡിയോ, വീഡിയോ പൈപ്പ്‌ലൈനുകൾ ഉപയോഗിച്ചിരുന്നില്ല.

ആർക്കൊക്കെ ഇതിന്റെ പ്രയോജനം ലഭിക്കും

ആരോഗ്യ സംരക്ഷണം, ധനകാര്യം തുടങ്ങിയ സ്വകാര്യതയ്ക്ക് വലിയ പ്രാധാന്യമുള്ള വ്യവസായങ്ങൾക്ക് തങ്ങളുടെ യഥാർത്ഥ ഓഡിയോ അല്ലെങ്കിൽ വീഡിയോ ഫയലുകൾ തേർഡ് പാർട്ടി APIs-ലേക്ക് അയക്കാൻ കഴിയില്ല. ഡാറ്റ ഫയർവാളിനുള്ളിൽ തന്നെ സൂക്ഷിക്കുന്നതിലൂടെ, MiMo-V2.5 ഇത്തരം സ്ഥാപനങ്ങൾക്ക് ഡാറ്റാ സംരക്ഷണ നിയമങ്ങൾ പാലിക്കാനും അതേസമയം തന്നെ AI അധിഷ്ഠിത ഉൾക്കാഴ്ചകൾ നേടാനും സഹായിക്കുന്നു. ഇതിന്റെ സാധ്യതകൾ താഴെ പറയുന്നവയാണ്:

  • മീറ്റിംഗ് ഇന്റലിജൻസ്: പ്രത്യേക ട്രാൻസ്ക്രിപ്ഷൻ ഘട്ടമില്ലാതെ തന്നെ വീഡിയോ റെക്കോർഡിംഗുകൾ വിശകലനം ചെയ്ത് തീരുമാനങ്ങൾ, തുടർനടപടികൾ (action items), സംസാരിക്കുന്ന ആളുടെ വികാരം (sentiment) എന്നിവ കണ്ടെത്താം.
  • കോൾ സെന്റർ അനലിറ്റിക്സ്: വിളിക്കുന്ന ആളുടെ ശബ്ദത്തിലെ നിരാശ, മടി അല്ലെങ്കിൽ ആത്മവിശ്വാസം എന്നിവ തത്സമയം തിരിച്ചറിയാം.
  • ഓൺ-ഡിവൈസ് അസിസ്റ്റന്റുകൾ: ശബ്ദം ക്ലൗഡിലേക്ക് അയക്കാതെ തന്നെ ശബ്ദത്തിന്റെ ശൈലിയും വാക്കുകളല്ലാത്ത സൂചനകളും മനസ്സിലാക്കുന്ന വോയ്‌സ് ഇന്റർഫേസുകൾ നിർമ്മിക്കാം.

പ്രായോഗികമായ വെല്ലുവിളികൾ

MiMo-V2.5-ന്റെ വാഗ്ദാനങ്ങൾ അതിന്റെ ഓഡിയോ, വീഡിയോ എൻകോഡറുകളുടെ പ്രവർത്തനക്ഷമതയെ ആശ്രയിച്ചിരിക്കുന്നു – ഈ ഘടകങ്ങളെ ലേഖകൻ ഇതുവരെ ബെഞ്ച്മാർക്ക് ചെയ്തിട്ടില്ല. പ്രൊഡക്ഷനിൽ ഉപയോഗിക്കുന്നതിന് മുമ്പ് സ്ഥാപനങ്ങൾക്ക് ലേറ്റൻസി (latency), കൃത്യത, ഹാർഡ്‌വെയർ ഉപയോഗം എന്നിവ സ്വന്തം ഡാറ്റാസെറ്റുകൾ ഉപയോഗിച്ച് പരിശോധിക്കേണ്ടതുണ്ട്. ടെക്സ്റ്റ് മാത്രം ആവശ്യമുള്ള ടീമുകൾക്ക് കമ്പ്യൂട്ട്, ചിലവ് എന്നിവയിൽ കുറച്ചുകൂടി കാര്യക്ഷമമായ ചെറിയ ടെക്സ്റ്റ് മോഡലുകൾ മതിയാകും. MiMo-V2.5-ന്റെ ഓപ്പൺ-വെയിറ്റ് സ്വഭാവം കൊണ്ട് അതിന്റെ കോഡും വെയ്റ്റുകളും പൊതുവായി ലഭ്യമാണ്; ഇത് ആഴത്തിലുള്ള കസ്റ്റമൈസേഷൻ സാധ്യമാക്കുന്നുണ്ടെങ്കിലും, ഈ സ്റ്റാക്ക് പരിപാലിക്കാനും സുരക്ഷിതമാക്കാനും ആഭ്യന്തരമായ വൈദഗ്ധ്യം ആവശ്യമാണ്.

ചുരുക്കത്തിൽ

MiMo-V2.5 നേറ്റീവ് മീഡിയ ടോക്കണൈസേഷൻ, വലിയ കോൺടെക്സ്റ്റ് വിൻഡോ, സുതാര്യമായ ടോക്കൺ നിരക്കിൽ സെൽഫ്-ഹോസ്റ്റിംഗ് എന്നിവ വാഗ്ദാനം ചെയ്യുന്നു. യഥാർത്ഥ ഓഡിയോയും വീഡിയോയും സ്വന്തം സ്ഥാപനങ്ങളിൽ തന്നെ സൂക്ഷിക്കേണ്ട സ്വകാര്യതയ്ക്ക് മുൻഗണന നൽകുന്ന സ്ഥാപനങ്ങൾക്ക് ഇത് ഒരു മികച്ച പൈലറ്റ് പാതയാണ്. ഇതിന്റെ യഥാർത്ഥ മൂല്യം അതിന്റെ ഓഡിയോ, വീഡിയോ എൻകോഡറുകൾ എന്റർപ്രൈസ് വർക്ക്ലോഡുകൾക്ക് കീഴിൽ എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതിനെയും, സെൽഫ്-ഹോസ്റ്റിംഗിന്റെ പ്രവർത്തനപരമായ അധികഭാരം നിലവിലുള്ള AI ടീമുകളുടെ നൈപുണ്യത്തിന് അനുയോജ്യമാണോ എന്നതിനെയും ആശ്രയിച്ചിരിക്കും.