Black Forest Labs Flux 3 പുറത്തിറക്കി: വീഡിയോയിലും ഓഡിയോയിലും ഒരു മൾട്ടിമോഡൽ കുതിച്ചുചാട്ടം

ഡിജിറ്റൽ ജനറേഷനും ഫിസിക്കൽ ഇന്റലിജൻസും തമ്മിലുള്ള അകലം കുറയ്ക്കുന്നതിനായി രൂപകൽപ്പന ചെയ്ത ഒരു മൾട്ടിമോഡൽ ഫൗണ്ടേഷൻ മോഡലായ Flux 3 പുറത്തിറക്കിക്കൊണ്ട് Black Forest Labs (BFL) ഔദ്യോഗികമായി "വേൾഡ് മോഡലുകളുടെ" (world models) മേഖലയിലേക്ക് പ്രവേശിച്ചു. ചിത്രങ്ങൾ, വീഡിയോ, ഓഡിയോ എന്നിവയിൽ ഒരേസമയം പരിശീലനം നൽകുന്നതിലൂടെ, പരമ്പരാഗത സിംഗിൾ-മോഡാലിറ്റി മോഡലുകൾക്ക് എത്തിപ്പിടിക്കാൻ പ്രയാസമുള്ള ഒരു സെൻസറി കോഹീഷൻ (sensory cohesion) Flux 3 കൈവരിക്കുന്നു.

മൾട്ടിമോഡൽ ട്രെയിനിംഗിന്റെ കരുത്തും നേറ്റീവ് ഓഡിയോയും

ശബ്ദം സിങ്ക് ചെയ്യുന്നതിന് പലപ്പോഴും പ്രത്യേക പ്രക്രിയകൾ ആവശ്യമായ മുൻതലമുറ വീഡിയോ മോഡലുകളിൽ നിന്ന് വ്യത്യസ്തമായി, 20 സെക്കൻഡ് വരെയുള്ള വീഡിയോ ക്ലിപ്പുകൾക്കായി നേറ്റീവ് ഓഡിയോ ജനറേഷൻ Flux 3 അവതരിപ്പിക്കുന്നു. ഒരു സിംഗിൾ മോഡാലിറ്റിക്കും യാഥാർത്ഥ്യത്തെ പൂർണ്ണമായി പകർത്താൻ കഴിയില്ല എന്ന BFL-ന്റെ തത്വത്തിലാണ് ഈ വികസനം അധിഷ്ഠിതമായിരിക്കുന്നത്. ചിത്രങ്ങൾ സ്പേഷ്യൽ സ്ട്രക്ചറും (spatial structure) വീഡിയോ കാലികമായ മാറ്റങ്ങളും (temporal changes) നൽകുന്നുവെങ്കിൽ, ഓഡിയോ മെക്കാനിക്കൽ സംഭവങ്ങളും അവയുടെ ശബ്ദങ്ങളും തമ്മിലുള്ള കാരണപരമായ ബന്ധങ്ങൾ വെളിപ്പെടുത്തുന്നു.

BFL-ന്റെ സ്വന്തമായ "Self-Flow" സമീപനത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു മൾട്ടിമോഡൽ ട്രാൻസ്ഫോർമർ ഉപയോഗിക്കുന്നതിലൂടെ, ഈ മോഡൽ ചിത്രങ്ങൾ, വീഡിയോ, ഓഡിയോ, കൂടാതെ ആക്ഷനുകൾ പോലും ഒരു പങ്കിട്ട ഇന്റേണൽ റെപ്രസന്റേഷനിലേക്ക് മാറ്റുന്നു. ഈ ഏകീകൃത പരിശീലനം വിവരങ്ങളിലെ വിടവുകൾ നികത്താൻ മോഡലിനെ സഹായിക്കുന്നു—ഉദാഹരണത്തിന്, ഒരു ദൃശ്യ ചലനത്തിന്റെ ഫിസിക്സ് മികച്ച രീതിയിൽ മനസ്സിലാക്കാൻ ഓഡിയോ സൂചനകൾ ഉപയോഗിക്കുന്നു. text-to-video, image-to-video, keyframe-based transitions, കൂടാതെ ബഹുഭാഷാ സംഭാഷണങ്ങൾ (multilingual dialogue) എന്നിവയുൾപ്പെടെയുള്ള വിപുലമായ അത്യാധുനിക ഫീച്ചറുകൾ Flux 3 പിന്തുണയ്ക്കുന്നു.

വ്യവസായ ഭീമന്മാരുമായി Flux 3 താരതമ്യം ചെയ്യുന്നു

720p റെസല്യൂഷനിലുള്ള 10 സെക്കൻഡ് ക്ലിപ്പുകൾ ഉപയോഗിച്ചുള്ള പ്രാഥമിക മൂല്യനിർണ്ണയങ്ങളിൽ, Flux 3 മികച്ച മത്സര നേട്ടങ്ങൾ പ്രകടിപ്പിച്ചു. ഉപയോക്താക്കളുടെ താൽപ്പര്യം അളക്കുന്ന ടെസ്റ്റുകളിൽ, 93% കേസുകളിൽ Luma Ray 3.2-നേക്കാളും 77% കേസുകളിൽ Runway Gen-4.5-നേക്കാളും Flux 3 ആണ് തിരഞ്ഞെടുക്കപ്പെട്ടതെന്ന് BFL റിപ്പോർട്ട് ചെയ്തു.

പ്രമുഖ എതിരാളികളുമായുള്ള വ്യത്യാസം കുറവാണെങ്കിലും, Grok Imagine Video (69%), Kling v3 Pro (60%) എന്നിവയേക്കാൾ Flux 3 മുന്നിട്ടുനിൽക്കുന്നു. 52% പ്രിഫറൻസ് റേറ്റോടെ Seedance 2.0, Gemini Omni Flash എന്നിവയെക്കാളും ഇത് മികച്ച പ്രകടനം കാഴ്ചവെച്ചു. പ്രൊഫഷണൽ ഹോളിവുഡ് വർക്ക്ഫ്ലോകളിൽ നിലവിൽ ഉപയോഗിച്ചുവരുന്ന സിസ്റ്റങ്ങളോട് മത്സരിക്കാൻ ശേഷിയുള്ള, ജനറേറ്റീവ് വീഡിയോ മോഡലുകളുടെ ഏറ്റവും ഉയർന്ന തലത്തിൽ Flux 3 സ്വയം പ്രതിഷ്ഠിക്കുകയാണെന്ന് ഈ ഫലങ്ങൾ സൂചിപ്പിക്കുന്നു.

ഉള്ളടക്ക നിർമ്മാണത്തിനപ്പുറം: റോബോട്ടിക്സിലേക്കുള്ള ചുവടുവെപ്പ്

Flux 3-ന്റെ ഏറ്റവും വലിയ ലക്ഷ്യം "റിയൽ-വേൾഡ് വിഷ്വൽ ഇന്റലിജൻസിലേക്കുള്ള" (real-world visual intelligence) ചുവടുവെപ്പായിരിക്കാം. BFL വെറുമൊരു ക്രിയേറ്റീവ് ടൂൾ മാത്രമല്ല നിർമ്മിക്കുന്നത്; കാണാനും പ്രവചിക്കാനും പ്രവർത്തിക്കാനും കഴിയുന്ന ഒരു മോഡലാണ് അവർ വികസിപ്പിക്കുന്നത്. അതിന്റെ ട്രാൻസ്ഫോർമർ ആർക്കിടെക്ചറിലെ ഒരു പ്രത്യേക ആക്ഷൻ കമ്പോണന്റ് വഴി, "Flux-mimic" എന്ന വീഡിയോ-ആക്ഷൻ മോഡൽ വികസിപ്പിക്കാൻ ഈ മോഡൽ ഉപയോഗിക്കുന്നു.

ഉയർന്ന പ്രാധാന്യമുള്ള ഒരു പ്രായോഗിക പരീക്ഷണത്തിനായി, Audi-യിലെ പ്രൊഡക്ഷൻ ജോലികളിൽ ഈ സാങ്കേതികവിദ്യ പരീക്ഷിക്കുന്നതിനായി BFL, Mimic Robotics-മായി പങ്കാളികളായിട്ടുണ്ട്. ഒരു ഹൈ-ഫിഡിലിറ്റി വീഡിയോ നിർമ്മിക്കുന്നതുപോലെ തന്നെ ലോകത്തിന്റെ ഭൗതിക നിയമങ്ങൾ മനസ്സിലാക്കേണ്ടത് പ്രധാനമായ റോബോട്ടിക്സ് മേഖലയ്ക്ക് ഒരു അടിത്തറയായിരിക്കാനാണ് Flux 3-ന്റെ ആർക്കിടെക്ചർ ലക്ഷ്യമിടുന്നത് എന്ന് ഇത് സൂചിപ്പിക്കുന്നു.

വിന്യാസവും "Flux 3 Dev" ഓപ്പൺ-വെയ്റ്റ് വാഗ്ദാനവും

സുരക്ഷ ഉറപ്പാക്കുന്നതിനും ഉപയോക്താക്കളുടെ അഭിപ്രായങ്ങൾ ശേഖരിക്കുന്നതിനുമായി BFL ഘട്ടം ഘട്ടമായുള്ള വിന്യാസ രീതിയാണ് സ്വീകരിക്കുന്നത്. Flux 3 Video നിലവിൽ ലഭ്യമാണ്, Flux 3 Image അടുത്ത ഏതാനും ആഴ്ചകൾക്കുള്ളിൽ ഏർലി ആക്സസ് (early access) ആയി പുറത്തിറങ്ങുമെന്നാണ് പ്രതീക്ഷിക്കുന്നത്. ഭാവിയിലേക്ക് നോക്കുമ്പോൾ, "Flux 3 Dev" എന്ന പേരിൽ മൾട്ടിമോഡൽ ബാക്ക്ബോണിന് ഓപ്പൺ-വെയ്റ്റ് ആക്സസ് നൽകുമെന്ന് BFL വാഗ്ദാനം ചെയ്തിട്ടുണ്ട്. ഇത് ആഗോളതലത്തിലുള്ള ഡെവലപ്പർമാർക്കും ഗവേഷകർക്കും അവരുടെ ആർക്കിടെക്ചറിന്മേൽ കൂടുതൽ പരീക്ഷണങ്ങൾ നടത്താൻ കരുത്തുപകരും.

പ്രധാന വിവരങ്ങൾ

• നേറ്റീവ് മൾട്ടിമോഡാലിറ്റി: Flux 3 ചിത്രങ്ങൾ, വീഡിയോ, ഓഡിയോ എന്നിവയുടെ പരിശീലനം ഒരു സിംഗിൾ "Self-Flow" ട്രാൻസ്ഫോർമറിൽ സംയോജിപ്പിക്കുന്നു, ഇത് സിങ്ക് ചെയ്ത നേറ്റീവ് ഓഡിയോയോടു കൂടിയ 20 സെക്കൻഡ് വീഡിയോകൾ സാധ്യമാക്കുന്നു.
• ഉയർന്ന പ്രകടനം: പ്രാഥമിക പരിശോധനകളിൽ, Luma Ray 3.2 (93% പ്രിഫറൻസ്), Runway Gen-4.5 (77% പ്രിഫറൻസ്) തുടങ്ങിയ പ്രധാന എതിരാളികളെക്കാൾ Flux 3 മികച്ച പ്രകടനം കാഴ്ചവെച്ചു.
• റോബോട്ടിക്സ് സംയോജനം: ഈ മോഡലിൽ ഒരു ആക്ഷൻ-പ്രെഡിക്ഷൻ കമ്പോണന്റ് ഉൾപ്പെടുന്നു, ഇത് Mimic Robotics വഴി Audi-യിലെ പ്രൊഡക്ഷൻ റോബോട്ടിക്സ് ജോലികൾക്കായി നിലവിൽ പരീക്ഷിച്ചുവരുന്നു.