പുതിയ Google Vids ഇന്റർഫേസ് വഴി ലഭ്യമാകുന്ന Google’s Gemini Omni, തുടർച്ചയായ മൂന്ന് വീഡിയോ എഡിറ്റുകൾക്ക് ശേഷവും ഒരു വ്യക്തിയുടെ (subject-courier) രൂപം മാറ്റമില്ലാതെ നിലനിർത്താൻ ഈ AI-ക്ക് കഴിയുമോ എന്ന് പരിശോധിക്കുന്നതിനായി ഒരു ലാബ് ടെസ്റ്റിന് വിധേയമാക്കി.
ഈ പരീക്ഷണം പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
ഒരു ടെക്സ്റ്റ് കമാൻഡ് ഉപയോഗിച്ച് ആർക്കും പശ്ചാത്തലം മാറ്റാനും വെളിച്ചം ക്രമീകരിക്കാനും ഇഫക്റ്റുകൾ ചേർക്കാനും കഴിയുമെന്ന് ജനറേറ്റീവ് വീഡിയോ ടൂളുകൾ വാഗ്ദാനം ചെയ്യുന്നു. ഒരു ക്രിയേറ്ററെ സംബന്ധിച്ചിടത്തോളം ഇതിന്റെ ഗുണം ലളിതമാണ്: ഒരു സാധാരണ ക്ലിപ്പിൽ നിന്ന് തുടങ്ങി, “make it rain at night” എന്ന് ടൈപ്പ് ചെയ്താൽ മനോഹരമായ ഒരു വീഡിയോ ലഭിക്കും. എന്നാൽ, ഓരോ പുതിയ നിർദ്ദേശവും AI നടപ്പിലാക്കുമ്പോൾ യഥാർത്ഥ വ്യക്തിയുടെ രൂപം, ഭാവം അല്ലെങ്കിൽ ചലനം ക്രമേണ നഷ്ടപ്പെടുന്ന "ഡ്രിഫ്റ്റ്" (drift) എന്ന പ്രതിഭാസത്തിന്റെ മറഞ്ഞിരിക്കുന്ന പ്രത്യാഘാതങ്ങൾ ഭൂരിഭാഗം ഉപയോക്താക്കളും തിരിച്ചറിയാറില്ല. രണ്ടാമത്തെ എഡിറ്റിന് ശേഷം ഒരു വ്യക്തിയുടെ മുഖത്ത് ചെറിയ മാറ്റങ്ങൾ പോലും സംഭവിച്ചാൽ, അത് പ്രൊഫഷണലല്ലാത്തതായി തോന്നും, കൂടാതെ അത് ശരിയാക്കാൻ വലിയ ചിലവുള്ള മാനുവൽ ക്ലീനപ്പും ആവശ്യമായി വന്നേക്കാം.
പരീക്ഷണം
ബേസ്ലൈൻ ക്ലിപ്പ് (Baseline clip) – നേവി ബ്ലൂ വിൻഡ്ബ്രേക്കർ ധരിച്ച ഒരാൾ, ഇടതുകൈയ്യിൽ ഒരു ചെറിയ കാർഡ്ബോർഡ് ബോക്സ് പിടിച്ചുകൊണ്ട് ക്യാമറയ്ക്ക് നേരെ രണ്ട് ചുവടുകൾ വെക്കുന്ന സ്റ്റാറ്റിക് ക്യാമറയിൽ പകർത്തിയ ഒരു സ്റ്റുഡിയോ ഷോട്ട്. ഇതിൽ വെളിച്ചം ഒരുപോലെയായിരുന്നു, പശ്ചാത്തലം ലളിതമായിരുന്നു, ചലനവും ലളിതമായിരുന്നു.
എഡിറ്റിംഗ് ക്രമം (Edit sequence) – മൂന്ന് എഡിറ്റുകൾ തുടർച്ചയായി നടപ്പിലാക്കി:
- പശ്ചാത്തല മാറ്റം (Background swap) – സ്റ്റുഡിയോയ്ക്ക് പകരം രാത്രിയിലെ മഴ പെയ്യുന്ന ഒരു നഗരവീഥി ചേർക്കുക.
- ലൈറ്റിംഗ് ക്രമീകരണം (Lighting tweak) – വ്യക്തിക്ക് ചുറ്റും ഒരു നീല റിം ലൈറ്റും (blue rim light) കടയുടെ ജനലിൽ നിന്നുള്ള ഊഷ്മളമായ വെളിച്ചവും ചേർക്കുക.
- അന്തരീക്ഷം (Atmosphere layer) – നേരിയ മഴത്തുള്ളികളും നേർത്ത മൂടൽമഞ്ഞും ചേർക്കുക.
ഒരു "ഡയറക്ട് കൺട്രോൾ" (direct control) റണ്ണിൽ മൂന്ന് നിർദ്ദേശങ്ങളും ഒരൊറ്റ പ്രോംപ്റ്റിൽ നൽകി, AI ഒറ്റയടിക്ക് ഫൈനൽ ക്ലിപ്പ് നിർമ്മിക്കാൻ അനുവദിച്ചു.
കൃത്യത എങ്ങനെ അളന്നു
നാല് വിഭാഗങ്ങളിലായി പന്ത്രണ്ട് മാനദണ്ഡങ്ങൾ ഉപയോഗിച്ചാണ് സ്കോർകാർഡ് തയ്യാറാക്കിയത്:
- കഥാപാത്രത്തിന്റെ സ്ഥിരത (Character stability) – മുഖം, മുടി, വസ്ത്രം എന്നിവയിൽ മാറ്റമില്ലാതെ തുടരുന്നു.
- രംഗത്തിന്റെ സ്ഥിരത (Scene stability) – ക്യാമറ ആംഗിളും വ്യക്തിയുടെ സ്ഥാനവും മാറ്റമില്ലാതെ നിലനിൽക്കുന്നു.
- എഡിറ്റിംഗ് കൃത്യത (Edit precision) – മറ്റ് മാറ്റങ്ങൾ വരുത്താതെ തന്നെ AI നിർദ്ദേശങ്ങൾ കൃത്യമായി പാലിക്കുന്നു.
- സമയക്രമത്തിലെ ഗുണമേന്മ (Temporal quality) – ചലനത്തിനിടയിൽ ഫ്ലിക്കറിംഗോ (flicker), രൂപം മാറുന്നതോ (warping), വിറയലോ (jitter) കാണുന്നില്ല.
ഓരോ ക്ലിപ്പും ആദ്യ ഫ്രെയിമിലും, രണ്ട് ചുവടുകൾ വെച്ചുതൊടുന്ന ഇടത്തിലും, അവസാന ഫ്രെയിമിലും വിലയിരുത്തി. സ്കോറിംഗ് പരിശോധിച്ചപ്പോൾ വ്യക്തമായ ഒരു പാറ്റേൺ दिसून വന്നു.
കണക്കുകൾ എന്ത് പറയുന്നു
എഡിറ്റുകൾ തുടർച്ചയായി വരുത്തിയപ്പോൾ, സ്കോർകാർഡ് ഉപയോഗിച്ച് AI-യെ വിലയിരുത്തി. ഒരൊറ്റ പ്രോംപ്റ്റ് ഉപയോഗിച്ചുള്ള കൺട്രോൾ റണ്ണിനും ഇതേ രീതിയിലുള്ള വിലയിരുത്തൽ തന്നെ ലഭിച്ചു.
ആർക്കാണ് നേട്ടവും ആർക്കാണ് നഷ്ടവും
ഒരൊറ്റ സമഗ്രമായ പ്രോംപ്റ്റ് ഉപയോഗിക്കാൻ കഴിയുന്ന സ്റ്റുഡിയോകൾക്ക് കൂടുതൽ സുഗമമായ പ്രവർത്തനരീതി ലഭിക്കും. എന്നാൽ ജനറേറ്റീവ് വീഡിയോ സിസ്റ്റങ്ങളുടെ ഡെവലപ്പർമാർക്ക് വലിയൊരു എഞ്ചിനീയറിംഗ് വെല്ലുവിളി നേരിടാനുണ്ട്—തുടർച്ചയായ മാറ്റങ്ങൾക്കിടയിലും വ്യക്തിയുടെ രൂപം (latent representation) മാറ്റമില്ലാതെ നിലനിർത്തുക എന്നതാണ് അത്.
വിപരീത വാദം
ഘട്ടം ഘട്ടമായുള്ള എഡിറ്റിംഗ് കൂടുതൽ സർഗ്ഗാത്മക നിയന്ത്രണം നൽകുന്നുണ്ടെന്ന് ചില ഉപയോക്താക്കൾ വാദിക്കുന്നു. ഓരോ ഘട്ടത്തിലും ഓരോ ഘടകങ്ങൾ മാത്രം ക്രമീകരിക്കുന്നതിലൂടെ അടുത്ത ഘട്ടത്തിലേക്ക് പോകുന്നതിന് മുമ്പ് ഓരോ ലെയറും കൃത്യമായി ക്രമീകരിക്കാൻ അവർക്ക് സാധിക്കും. എന്നാൽ ഈ സൗകര്യം ദൃശ്യങ്ങളുടെ കൃത്യതയെ (visual fidelity) ബാധിക്കുമെന്ന് പരീക്ഷണം കാണിക്കുന്നു. സൂക്ഷ്മമായ നിയന്ത്രണത്തിനായി വ്യക്തിയുടെ രൂപത്തിൽ ചെറിയ മാറ്റങ്ങൾ സംഭവിക്കുന്നത് ഒരു ക്രിയേറ്റർ അംഗീകരിക്കുകയാണെങ്കിൽ, നിലവിലെ Gemini Omni പ്രവർത്തനരീതി ഇപ്പോഴും പ്രായോഗികമാണ്.
ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ
- പ്രോംപ്റ്റുകൾക്കിടയിലും വ്യക്തിയുടെ ലേറ്റന്റ് കോഡ് (latent code) മാറ്റമില്ലാതെ നിലനിർത്തുന്ന തരത്തിലുള്ള മോഡൽ പരിഷ്കരണങ്ങൾ (Model refinements).
- രൂപമാറ്റം (drift) ശ്രദ്ധയിൽപ്പെട്ടാൽ അത് റിപ്പോർട്ട് ചെയ്യാനും വ്യക്തിയുടെ രൂപം വീണ്ടും പഴയതുപോലെ ഉറപ്പിക്കാനും (re-anchor) ക്രിയേറ്റർമാരെ അനുവദിക്കുന്ന യൂസർ ഫീഡ്ബാക്ക് ലൂപ്പുകൾ (User-feedback loops).
ചുരുക്കത്തിൽ
എല്ലാ നിർദ്ദേശങ്ങളും ഒരേസമയം നൽകിയാൽ Gemini Omni മികച്ച ഗുണനിലവാരമുള്ള വീഡിയോകൾ നിർമ്മിച്ചേക്കാം, എന്നാൽ എഡിറ്റുകൾ തുടർച്ചയായി വരുമ്പോൾ വ്യക്തിയുടെ രൂപത്തിലുള്ള കൃത്യത കുറയുന്നു.