Xiaomi એ MiMo-V2.5 લોન્ચ કર્યું છે, જે એક ઓપન-વેઇટ મલ્ટિમોડલ મોડેલ છે જે ઓડિયો, ઈમેજ અને વીડિયોને નેટિવ ટોકન્સ તરીકે ગણે છે. તે 1,050,000-ટોકન કોન્ટેક્સ્ટ વિન્ડો ઓફર કરે છે અને $0.14 પ્રતિ મિલિયન ઇનપુટ ટોકન્સ અને $0.28 પ્રતિ મિલિયન આઉટપુટ ટોકન્સના 'પે-એઝ-યુ-ગો' (pay-as-you-go) ભાવ સાથે આવે છે, જે એવા સંગઠનોને લક્ષ્ય બનાવે છે જેમને ઓન-પ્રેમિસ, મીડિયા-હેવી AI ની જરૂર છે.

નવો મલ્ટિમોડલ અભિગમ શા માટે મહત્વપૂર્ણ છે

મોટાભાગની હાલની મલ્ટિમોડલ સિસ્ટમ્સમાં એક પ્રકારની છેતરપિંડી જોવા મળે છે. તેઓ પહેલા સ્પીચ-ટુ-ટેક્સ્ટ એન્જિન ચલાવે છે, પછી વિઝન મોડેલ જે ચિત્રોને કેપ્શનમાં ફેરવે છે, અને અંતે પરિણામી ટેક્સ્ટને લાર્જ લેંગ્વેજ મોડેલ (LLM) માં ફીડ કરે છે. LLM ક્યારેય મૂળ સાઉન્ડ વેવ અથવા પિક્સેલ ડેટા જોતું નથી, તેથી નિસાસો, વિરામ, ચહેરાના હાવભાવ અથવા હાથના ઈશારા જેવા સૂક્ષ્મ તફાવતો (nuances) ગુમ થઈ જાય છે. MiMo-V2.5 આ લાંબી પ્રક્રિયાને ટાળે છે: તે ઓડિયો અને વીડિયોને સીધા "ટોકન્સ" તરીકે ગ્રહણ કરે છે, જેનાથી ટાઈમિંગ, ટોન અને વિઝ્યુઅલ સંકેતો જળવાઈ રહે છે જે ટ્રાન્સક્રિપ્ટ દ્વારા પકડવા અશક્ય છે.

ટેકનિકલ વિગતો

  • ટોકન વિન્ડો: 1,050,000 ટોકન્સ – મિટિંગના કલાકો સુધીના રેકોર્ડિંગને ટુકડાઓમાં વહેંચ્યા વગર ગ્રહણ કરવા માટે પૂરતા છે.
  • સેલ્ફ-હોસ્ટિંગ: મોડેલને કંપનીના પોતાના સર્વર્સ પર ડિપ્લોય કરો, જેથી કાચો (raw) મીડિયા ક્યારેય પરિસરમાંથી બહાર ન જાય.
  • કિંમત: $0.14 પ્રતિ મિલિયન ઇનપુટ ટોકન્સ, $0.28 પ્રતિ મિલિયન આઉટપુટ ટોકન્સ – વપરાશ સાથે વધતી જતી પારદર્શક કિંમત.

ટેક્સ્ટ-ઓન્લી કોરના ઝડપી સેનિટી ચેકમાં, મોડેલે અપેક્ષિત O(n log n) અલ્ગોરિધમ સાથે ક્લાસિક 'મર્જ-ઇન્ટરવલ' કોડિંગ સમસ્યા ઉકેલી, ટેન્ક-ફિલ રેટની ગણિતની સમસ્યા સ્ટેપ-બાય-સ્ટેપ ગણી, અને ઇનવોઇસમાંથી ભૂલ વગર JSON પેલોડ એક્સટ્રેક્ટ કર્યો. તે ટેસ્ટમાં ઓડિયો અને વીડિયો પાઇપલાઇન્સનો ઉપયોગ કરવામાં આવ્યો ન હતો.

કોને લાભ થઈ શકે છે

હેલ્થકેર અને ફાઇનાન્સ જેવા ડેટા પ્રાઇવસીને મહત્વ આપતા ઉદ્યોગો કાચો (raw) ઓડિયો અથવા વીડિયો થર્ડ-પાર્ટી APIs ને મોકલી શકતા નથી. ડેટાને ફાયરવોલ પાછળ રાખીને, MiMo-V2.5 આ સંગઠનોને ડેટા-પ્રોટેક્શનના નિયમોનું પાલન કરવાની સાથે AI-સંચાલિત ઇનસાઇટ્સ મેળવવામાં મદદ કરે છે. સંભવિત ઉપયોગોમાં શામેલ છે:

  • મીટિંગ ઇન્ટેલિજન્સ: અલગ ટ્રાન્સક્રિપ્શન સ્ટેજ વગર નિર્ણયો, એક્શન આઇટમ્સ અને વક્તાના સેન્ટિમેન્ટ (ભાવના) શોધવા માટે આખી વીડિયો રેકોર્ડિંગનું વિશ્લેષણ કરો.
  • કોલ-સેન્ટર એનાલિટિક્સ: કોલ કરનારના અવાજમાં હતાશા, ખચકાટ અથવા આત્મવિશ્વાસને રીઅલ-ટાઇમમાં શોધો.
  • ઓન-ડિવાઇસ આસિસ્ટન્ટ્સ: ક્લાઉડ પર ઓડિયો મોકલ્યા વગર ટોન સમજી શકે અને બિન-મૌખિક સંકેતો પર પ્રતિક્રિયા આપી શકે તેવા વોઇસ ઇન્ટરફેસ બનાવો.

વ્યવહારિક અવરોધો

MiMo-V2.5 નું વચન તેના ઓડિયો અને વીડિયો એન્કોડર્સના પ્રદર્શન પર આધારિત છે – જે ઘટકોનું લેખકે હજુ સુધી બેન્ચમાર્કિંગ કર્યું નથી. એન્ટરપ્રાઇઝ્સે પ્રોડક્શનમાં લાગુ કરતા પહેલા તેમના પોતાના ડેટાસેટ્સ પર લેટન્સી, ચોકસાઈ અને હાર્ડવેર વપરાશની ચકાસણી કરવી જોઈએ. જે ટીમોને ફક્ત ટેક્સ્ટની જરૂર છે તેમને કમ્પ્યુટ અને ખર્ચ બંનેમાં નાનું, ટેક્સ્ટ-ઓન્લી મોડેલ વધુ કાર્યક્ષમ લાગશે. MiMo-V2.5 ના ઓપન-વેઇટ સ્વરૂપનો અર્થ એ છે કે કોડ અને વેઇટ્સ જાહેરમાં ઉપલબ્ધ છે; આ ઊંડું કસ્ટમાઇઝેશન સક્ષમ બનાવે છે પરંતુ સ્ટેકને જાળવવા અને સુરક્ષિત કરવા માટે ઇન-હાઉસ નિપુણતાની પણ માંગ કરે છે.

મુખ્ય બાબતો

MiMo-V2.5 નેટિવ મીડિયા ટોકનાઇઝેશન, વિશાળ કોન્ટેક્સ્ટ વિન્ડો અને સ્પષ્ટ પ્રતિ-ટોકન ખર્ચ સાથે સેલ્ફ-હોસ્ટિંગ ઓફર કરે છે. પ્રાઇવસી-સેન્સિટિવ સંગઠનો જેમને કાચો ઓડિયો અને વીડિયો ઇન-હાઉસ રાખવો જરૂરી છે, તેમના માટે તે એક વ્યવહારુ પાઇલટ પાથ પૂરો પાડે છે. વાસ્તવિક દુનિયાનું મૂલ્ય તેના ઓડિયો અને વીડિયો એન્કોડર્સ એન્ટરપ્રાઇઝ વર્કલોડ હેઠળ કેવી રીતે પ્રદર્શન કરે છે અને સેલ્ફ-હોસ્ટિંગનો ઓપરેશનલ ખર્ચ હાલની AI ટીમોના કૌશલ્ય સેટમાં ફિટ થાય છે કે નહીં તેના પર નિર્ભર રહેશે.