కొత్త Google Vids ఇంటర్ఫేస్ ద్వారా అందుబాటులోకి వచ్చిన Google Gemini Omniని, వరుసగా మూడు వీడియో ఎడిట్ల తర్వాత కూడా ఒకే సబ్జెక్ట్-కురియర్ (subject-courier) స్థిరంగా ఉంటుందో లేదో చూడటానికి ఒక హ్యాండ్స్-ఆన్ ల్యాబ్ పరీక్షకు గురిచేశారు.
ఈ పరీక్ష ఎందుకు ముఖ్యం
జనరేటివ్ వీడియో టూల్స్ ద్వారా ఎవరైనా కేవలం ఒక టెక్స్ట్ కమాండ్తో బ్యాక్గ్రౌండ్లను మార్చవచ్చని, లైటింగ్ జోడించవచ్చని లేదా ఎఫెక్ట్లను చేర్చవచ్చని వాగ్దానం చేస్తాయి. ఒక క్రియేటర్కు ఈ వాగ్దానం చాలా సరళంగా ఉంటుంది: ఒక రా క్లిప్తో ప్రారంభించి, “రాత్రిపూట వర్షం కురిసేలా చేయి” అని టైప్ చేస్తే, ఒక చక్కని షార్ట్ వీడియో సిద్ధమవుతుంది. కానీ, AI ప్రతి కొత్త సూచనను విశ్లేషించేటప్పుడు అసలు సబ్జెక్ట్ యొక్క రూపం, భంగిమ లేదా కదలిక క్రమంగా కోల్పోవడాన్ని "డ్రిఫ్ట్" (drift) అంటారు; చాలా మంది వినియోగదారులు ఈ దాగి ఉన్న నష్టాన్ని గమనించరు. ఒకవేళ రెండవ ఎడిట్ తర్వాత కురియర్ ముఖం స్వల్పంగా మారితే, ఆ ఫైనల్ వీడియో ప్రొఫెషనల్గా అనిపించదు మరియు దానిని సరిచేయడానికి ఖరీదైన మాన్యువల్ క్లీన్-అప్ అవసరం కావచ్చు.
ప్రయోగం
బేస్లైన్ క్లిప్ (Baseline clip) – నేవీ విండ్బ్రేకర్ ధరించి, ఎడమ చేతిలో చిన్న కార్డ్బోర్డ్ బాక్స్ను పట్టుకుని, కెమెరా వైపు రెండు అడుగులు వేస్తున్న ఒక వ్యక్తి యొక్క స్టాటిక్-కెమెరా స్టూడియో షాట్. లైటింగ్ సమానంగా ఉంది, బ్యాక్గ్రౌండ్ సాదాగా ఉంది మరియు కదలిక సరళంగా ఉంది.
ఎడిట్ సీక్వెన్స్ (Edit sequence) – వరుసగా మూడు ఎడిట్లు చేయబడ్డాయి:
- బ్యాక్గ్రౌండ్ స్వాప్ (Background swap) – స్టూడియో స్థానంలో రాత్రిపూట వర్షం కురుస్తున్న నగర వీధిని ఉంచడం.
- లైటింగ్ ట్వీక్ (Lighting tweak) – కురియర్ చుట్టూ బ్లూ రిమ్ లైట్ మరియు షాప్ విండో నుండి వచ్చే వెచ్చని కాంతిని (warm glow) జోడించడం.
- అట్మాస్ఫియర్ లేయర్ (Atmosphere layer) – తేలికపాటి వాన చినుకులు మరియు సన్నని ఆవిరి పొరను చేర్చడం.
ఒక “డైరెక్ట్ కంట్రోల్” రన్లో ఈ మూడు సూచనలను ఒకే ప్రాంప్ట్లో కలిపి ఇచ్చారు, దీనివల్ల AI ఒకేసారి ఫైనల్ క్లిప్ను రూపొందించగలిగింది.
స్థిరత్వాన్ని (Consistency) ఎలా స్కోర్ చేశారు
స్కోర్కార్డ్లో పన్నెండు ప్రమాణాలు ఉన్నాయి, వీటిని నాలుగు అంశాలుగా విభజించారు:
- క్యారెక్టర్ స్టెబిలిటీ (Character stability) – ముఖం, జుట్టు మరియు దుస్తులు మారకుండా ఒకేలా ఉండటం.
- సీన్ స్టెబిలిటీ (Scene stability) – కెమెరా యాంగిల్ మరియు సబ్జెక్ట్ పొజిషన్ స్థిరంగా ఉండటం.
- ఎడిట్ ప్రిసిషన్ (Edit precision) – ఇతర అంశాలను మార్చకుండా AI సూచనను ఖచ్చితంగా పాటించడం.
- టెంపోరల్ క్వాలిటీ (Temporal quality) – కదలికల సమయంలో ఫ్లిక్కర్ (flicker), వార్పింగ్ (warping) లేదా జిట్టర్ (jitter) వంటివి కనిపించకపోవడం.
ప్రతి క్లిప్ను మొదటి ఫ్రేమ్, రెండు అడుగుల నడక మధ్యలో మరియు చివరి ఫ్రేమ్లో అంచనా వేయబడింది. స్కోరింగ్ ఒక స్పష్టమైన నమూనాను (pattern) వెల్లడించింది.
గణాంకాలు ఏం చెబుతున్నాయి
ఎడిట్లను ఒకదాని తర్వాత ఒకటి (stacked) చేసినప్పుడు, స్కోర్కార్డ్ ఉపయోగించి AIని అంచనా వేయడం జరిగింది. సింగిల్-ప్రాంప్ట్ కంట్రోల్ కూడా అదే మూల్యాంకనాన్ని పొందింది.
ఎవరు గెలుస్తారు మరియు ఎవరు నష్టపోతారు
ఒకే సమగ్రమైన ప్రాంప్ట్ను ఉపయోగించగలిగే స్టూడియోలకు పని విధానం (workflow) సులభతరం అవుతుంది. జనరేటివ్ వీడియో సిస్టమ్స్ డెవలపర్లు ఒక స్పష్టమైన ఇంజనీరింగ్ సవాలును ఎదుర్కొంటున్నారు—అదేమిటంటే, వరుస మార్పుల (sequential transformations) ద్వారా సబ్జెక్ట్ యొక్క స్థిరమైన లేటెంట్ రిప్రజెంటేషన్ను (latent representation) కాపాడటం.
ప్రతివాదన (Counter-argument)
ఇంక్రిమెంటల్ ఎడిటింగ్ (వరుసగా చేసే ఎడిటింగ్) వల్ల ఎక్కువ సృజనాత్మక నియంత్రణ లభిస్తుందని కొందరు వినియోగదారులు వాదిస్తారు. ఒక సమయంలో ఒక అంశాన్ని సర్దుబాటు చేయడం ద్వారా, వారు తదుపరి దశకు వెళ్లే ముందు ప్రతి లేయర్ను ఫైన్-ట్యూన్ చేయవచ్చు. అయితే, ఈ సౌలభ్యం వల్ల విజువల్ ఫిడెలిటీ (visual fidelity) తగ్గుతుందని ఈ పరీక్ష చూపుతోంది. ఒక క్రియేటర్ సూక్ష్మమైన నియంత్రణ కోసం సబ్జెక్ట్లో చిన్న చిన్న మార్పులను అంగీకరిస్తే, ప్రస్తుత Gemini Omni వర్క్ఫ్లో ఇప్పటికీ ఉపయోగకరంగా ఉండవచ్చు.
తదుపరి ఏం గమనించాలి
- ప్రాంప్ట్ల మధ్య సబ్జెక్ట్ యొక్క లేటెంట్ కోడ్ను లాక్ చేసే మోడల్ రిఫైన్మెంట్స్ (Model refinements).
- డ్రిఫ్ట్ను గుర్తించి, సబ్జెక్ట్ను తిరిగి స్థిరీకరించాలని (re-anchor) కోరడానికి క్రియేటర్లకు వీలు కల్పించే యూజర్-ఫీడ్బ్యాక్ లూప్స్ (User-feedback loops).
ముగింపు (Takeaway)
Gemini Omniకి ఒకేసారి పూర్తి సూచనలను ఇస్తే, అది చక్కని మల్టీ-ఎలిమెంట్ వీడియోను రూపొందించగలదు, కానీ ఎడిట్లను ఒకదాని తర్వాత ఒకటి చేసినప్పుడు దాని సబ్జెక్ట్ ఫిడెలిటీ (subject fidelity) తగ్గుతుంది.