नवीन Google Vids इंटरफेसद्वारे उपलब्ध असलेल्या Google च्या Gemini Omni ची प्रत्यक्ष प्रयोगशाळेत चाचणी घेण्यात आली. तीन सलग व्हिडिओ एडिटिंगनंतर AI एकाच विषयाला (subject-courier) स्थिर ठेवू शकते का, हे पाहण्यासाठी ही चाचणी करण्यात आली.
ही चाचणी का महत्त्वाची आहे
जनरेटिव्ह व्हिडिओ टूल्स (Generative video tools) असे आश्वासन देतात की कोणीही केवळ एका टेक्स्ट कमांडद्वारे बॅकग्राउंड बदलू शकते, लाइटिंग जोडू शकते किंवा इफेक्ट्स टाकू शकते. एका क्रिएटरसाठी हे आश्वासन सोपे आहे: एक रॉ क्लिप (raw clip) घ्या, "रात्री पाऊस पाड" (make it rain at night) असे टाईप करा आणि एक पॉलिश केलेला छोटा व्हिडिओ मिळवा. बहुतेक वापरकर्त्यांना "ड्रिफ्ट" (drift) चा छुपा खर्च दिसत नाही—म्हणजेच AI प्रत्येक नवीन सूचनांचा अर्थ लावताना मूळ विषयाचा चेहरा, पोझ किंवा हालचाल हळूहळू बदलत जाते. जर दुसऱ्या एडिटिंगनंतर कुरियरचा चेहरा किंचित बदलला, तर अंतिम व्हिडिओ अनप्रोफेशनल दिसतो आणि त्यासाठी महागड्या मॅन्युअल क्लीन-अपची गरज भासू शकते.
प्रयोग
बेसलाइन क्लिप (Baseline clip) – नेव्ही विंडब्रेकर घातलेली, डाव्या हातात एक लहान पुठ्ठा बॉक्स घेतलेली आणि कॅमेऱ्याकडे दोन पावले टाकणारी एक व्यक्ती, याचे स्टॅटिक-कॅमेरा स्टुडिओ शॉट. लाइटिंग एकसमान होती, बॅकग्राउंड साधे होते आणि हालचाल सोपी होती.
एडिटिंग क्रम (Edit sequence) – तीन एडिट्स एकामागून एक लागू करण्यात आले:
- बॅकग्राउंड बदलणे (Background swap) – स्टुडिओच्या जागी रात्रीच्या पावसाळी शहराचा रस्ता वापरा.
- लाइटिंगमध्ये बदल (Lighting tweak) – कुरियरच्या भोवती निळी रिम लाईट आणि दुकानाच्या खिडकीतून येणारा उबदार प्रकाश (warm glow) जोडा.
- ॲटमॉस्फिअर लेअर (Atmosphere layer) – हलके पावसाचे थेंब आणि वाफेचा एक पातळ थर टाका.
एका "डायरेक्ट कंट्रोल" (direct control) रनमध्ये या तिन्ही सूचना एकाच प्रॉम्प्टमध्ये एकत्र केल्या गेल्या, ज्यामुळे AI ला एकाच वेळी अंतिम क्लिप तयार करण्यास मदत झाली.
सुसंगतता (Consistency) कशी मोजली गेली
१२ निकषांवर आधारित स्कोअरकार्ड तयार करण्यात आले होते, ज्यांचे चार थीममध्ये वर्गीकरण केले होते:
- पात्राची स्थिरता (Character stability) – चेहरा, केस आणि कपडे तंतोतंत सारखे राहतात.
- सीनची स्थिरता (Scene stability) – कॅमेरा अँगल आणि विषयाची स्थिती स्थिर राहते.
- एडिटिंगची अचूकता (Edit precision) – AI इतर काहीही न बदलता दिलेल्या सूचनेचे पालन करते.
- टेम्पोरल क्वालिटी (Temporal quality) – हालचालीदरम्यान कोणताही फ्लिकर (flicker), वॉर्पिंग (warping) किंवा जिटर (jitter) दिसत नाही.
प्रत्येक क्लिपचे मूल्यमापन पहिले फ्रेम, दोन पावले चालण्याच्या दरम्यानचा मध्यभाग आणि अंतिम फ्रेम या तीन टप्प्यांवर करण्यात आले. स्कोअरिंगमधून एक स्पष्ट पॅटर्न दिसून आला.
आकडेवारी काय सांगते
जेव्हा एडिट्स एकावर एक लावले गेले, तेव्हा स्कोअरकार्डचा वापर करून AI चे मूल्यमापन करण्यात आले. सिंगल-प्रॉम्प्ट कंट्रोलला देखील तेच मूल्यमापन मिळाले.
कोणाचा फायदा आणि कोणाचे नुकसान
जे स्टुडिओ एकच, सर्वसमावेशक प्रॉम्प्ट वापरू शकतात, त्यांना अधिक सुलभ वर्कफ्लो मिळतो. जनरेटिव्ह व्हिडिओ सिस्टम विकसित करणाऱ्या डेव्हलपर्ससमोर एक स्पष्ट इंजिनिअरिंग अडथळा आहे—क्रमवार बदलांदरम्यान विषयाचे स्थिर 'लॅटेंट रिप्रेझेंटेशन' (latent representation) राखण्याची गरज.
प्रतिवाद (Counter-argument)
काही वापरकर्त्यांचे असे मत आहे की टप्प्याटप्प्याने केलेले एडिटिंग अधिक सर्जनशील नियंत्रण (creative control) देते. एका वेळी एक घटक बदलून, ते पुढील टप्प्यावर जाण्यापूर्वी प्रत्येक लेअर अधिक अचूक करू शकतात. मात्र, ही चाचणी दर्शवते की या लवचिकतेमुळे व्हिज्युअल फिडेलिटी (visual fidelity) कमी होते. जर एखाद्या क्रिएटरने सूक्ष्म नियंत्रणासाठी विषयातील किरकोळ बदल स्वीकारले, तर सध्याचा Gemini Omni वर्कफ्लो अजूनही उपयुक्त ठरू शकतो.
पुढे काय पाहावे
- मॉडेल रिफाइनमेंट्स (Model refinements) जे प्रॉम्प्ट्स दरम्यान विषयाचा लॅटेंट कोड (latent code) लॉक करतील.
- युजर-फीडबॅक लूप्स (User-feedback loops) जे क्रिएटरना 'ड्रिफ्ट' सूचित करण्याची आणि विषयाला पुन्हा 'अँकर' (re-anchor) करण्याची विनंती करण्याची सुविधा देतील.
निष्कर्ष (Takeaway)
जेव्हा Gemini Omni ला एकाच वेळी सूचनांचा संपूर्ण संच दिला जातो, तेव्हा ते एक पॉलिश केलेला, बहु-घटक व्हिडिओ तयार करू शकते, परंतु जेव्हा एडिट्स एकावर एक लावले जातात, तेव्हा विषयाची अचूकता (subject fidelity) कमी होत जाते.