ಹೊಸ Google Vids ಇಂಟರ್ಫೇಸ್ ಮೂಲಕ ಪ್ರವೇಶಿಸಬಹುದಾದ Google Gemini Omni ಅನ್ನು, ಮೂರು ಸತತ ವಿಡಿಯೋ ಎಡಿಟ್ಗಳ ನಂತರ AI ಒಂದು ನಿರ್ದಿಷ್ಟ ವಿಷಯ-ಕುರಿಯರ್ (subject-courier) ಅನ್ನು ಸ್ಥಿರವಾಗಿಡಬಲ್ಲದೇ ಎಂದು ನೋಡಲು ಪ್ರಾಯೋಗಿಕ ಪ್ರಯೋಗಕ್ಕೆ ಒಳಪಡಿಸಲಾಯಿತು.
ಈ ಪರೀಕ್ಷೆಯ ಮಹತ್ವವೇನು
ಜನರೇಟಿವ್ ವಿಡಿಯೋ ಪರಿಕರಗಳು ಕೇವಲ ಒಂದು ಪಠ್ಯದ ಕಮಾಂಡ್ ಮೂಲಕ ಯಾರೇ ಆದರೂ ಹಿನ್ನೆಲೆಯನ್ನು ಬದಲಾಯಿಸಬಹುದು, ಬೆಳಕನ್ನು ಸೇರಿಸಬಹುದು ಅಥವಾ ಎಫೆಕ್ಟ್ಗಳನ್ನು ನೀಡಬಹುದು ಎಂದು ಭರವಸೆ ನೀಡುತ್ತವೆ. ಒಬ್ಬ ಕ್ರಿಯೇಟರ್ಗೆ ಈ ಭರವಸೆ ಸರಳವಾಗಿದೆ: ಒಂದು ರೊ (raw) ಕ್ಲಿಪ್ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ, “ರಾತ್ರಿಯಲ್ಲಿ ಮಳೆ ಬರುವಂತೆ ಮಾಡು” ಎಂದು ಟೈಪ್ ಮಾಡಿ, ಮತ್ತು ಒಂದು ಸುಂದರವಾದ ಸಣ್ಣ ವಿಡಿಯೋವನ್ನು ಪಡೆಯಿರಿ. ಆದರೆ ಹೆಚ್ಚಿನ ಬಳಕೆದಾರರು "ಡ್ರಿಫ್ಟ್" (drift) ಎಂಬ ಗುಪ್ತ ವೆಚ್ಚವನ್ನು ಗಮನಿಸುವುದಿಲ್ಲ—ಅಂದರೆ AI ಪ್ರತಿ ಹೊಸ ಸೂಚನೆಯನ್ನು ಅರ್ಥೈಸಿಕೊಳ್ಳುತ್ತಿದ್ದಂತೆ ಮೂಲ ವಿಷಯದ (subject) ನೋಟ, ಭಂಗಿ ಅಥವಾ ಚಲನೆಯಲ್ಲಿ ಕ್ರಮೇಣವಾಗಿ ಉಂಟಾಗುವ ಬದಲಾವಣೆ. ಒಂದು ವೇಳೆ ಎರಡನೇ ಎಡಿಟ್ ನಂತರ ಕುರಿಯರ್ನ ಮುಖದಲ್ಲಿ ಸಣ್ಣ ಬದಲಾವಣೆಯಾದರೂ, ಅಂತಿಮ ವಿಡಿಯೋ ವೃತ್ತಿಪರವಾಗಿ ಕಾಣಿಸುವುದಿಲ್ಲ ಮತ್ತು ಅದನ್ನು ಸರಿಪಡಿಸಲು ದುಬಾರಿ ಮ್ಯಾನುಯಲ್ ಕ್ಲೀನ್-ಅಪ್ ಅಗತ್ಯವಾಗಬಹುದು.
ಪ್ರಯೋಗ
ಬೇಸ್ಲೈನ್ ಕ್ಲಿಪ್ (Baseline clip) – ನೇವಿ ಬಣ್ಣದ ವಿಂಡ್ಬ್ರೇಕರ್ ಧರಿಸಿದ ವ್ಯಕ್ತಿಯೊಬ್ಬರು, ಎಡಗೈಯಲ್ಲಿ ಸಣ್ಣ ಕಾರ್ಡ್ಬೋರ್ಡ್ ಬಾಕ್ಸ್ ಹಿಡಿದುಕೊಂಡು, ಕ್ಯಾಮೆರಾದ ಕಡೆಗೆ ಎರಡು ಹೆಜ್ಜೆಗಳನ್ನು ಇಡುತ್ತಿರುವ ಸ್ಟ್ಯಾಟಿಕ್-ಕ್ಯಾಮೆರಾ ಸ್ಟುಡಿಯೋ ಶಾಟ್. ಬೆಳಕು ಸಮನಾಗಿತ್ತು, ಹಿನ್ನೆಲೆ ಸರಳವಾಗಿತ್ತು ಮತ್ತು ಚಲನೆಯೂ ಸರಳವಾಗಿತ್ತು.
ಎಡಿಟ್ ಸರಣಿ (Edit sequence) – ಮೂರು ಎಡಿಟ್ಗಳನ್ನು ಒಂದಾದ ನಂತರ ಒಂದನ್ನು ಅನ್ವಯಿಸಲಾಯಿತು:
- ಹಿನ್ನೆಲೆ ಬದಲಾವಣೆ (Background swap) – ಸ್ಟುಡಿಯೋ ಬದಲಿಗೆ ರಾತ್ರಿಯ ಮಳೆಯಿಂದ ಕೂಡಿದ ನಗರದ ರಸ್ತೆಯನ್ನು ಸೇರಿಸುವುದು.
- ಬೆಳಕಿನ ಹೊಂದಾಣಿಕೆ (Lighting tweak) – ಕುರಿಯರ್ನ ಸುತ್ತ ನೀಲಿ ರಿಮ್ ಲೈಟ್ (rim light) ಮತ್ತು ಅಂಗಡಿಯ ಕಿಟಕಿಯಿಂದ ಬರುವ ಬೆಚ್ಚಗಿನ ಬೆಳಕನ್ನು ಸೇರಿಸುವುದು.
- ವಾತಾವರಣದ ಪದರ (Atmosphere layer) – ಸಣ್ಣ ಮಳೆ ಹನಿಗಳು ಮತ್ತು ಹಬೆಯ ತೆಳುವಾದ ಪದರವನ್ನು ಸೇರಿಸುವುದು.
ಒಂದು “ಡೈರೆಕ್ಟ್ ಕಂಟ್ರೋಲ್” (direct control) ರನ್ನಲ್ಲಿ ಮೂರೂ ಸೂಚನೆಗಳನ್ನು ಒಂದೇ ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ ನೀಡಲಾಯಿತು, ಇದರಿಂದ AI ಒಂದೇ ಬಾರಿಗೆ ಅಂತಿಮ ಕ್ಲಿಪ್ ಅನ್ನು ಸೃಷ್ಟಿಸಲು ಸಾಧ್ಯವಾಯಿತು.
ಸ್ಥಿರತೆಯನ್ನು (Consistency) ಹೇಗೆ ಅಳೆಯಲಾಯಿತು
ಹನ್ನೆರಡು ಮಾನದಂಡಗಳನ್ನು ನಾಲ್ಕು ವಿಷಯಗಳಾಗಿ ವಿಂಗಡಿಸಿ ಸ್ಕೋರ್ ಕಾರ್ಡ್ ರೂಪಿಸಲಾಯಿತು:
- ಪಾತ್ರದ ಸ್ಥಿರತೆ (Character stability) – ಮುಖ, ಕೂದಲು ಮತ್ತು ಬಟ್ಟೆಗಳು ಅಚ್ಚುಕಟ್ಟಾಗಿ ಒಂದೇ ರೀತಿ ಇರುವುದು.
- ದೃಶ್ಯದ ಸ್ಥಿರತೆ (Scene stability) – ಕ್ಯಾಮೆರಾ ಕೋ angle ಮತ್ತು ವಿಷಯದ (subject) ಸ್ಥಾನವು ಸ್ಥಿರವಾಗಿರುವುದು.
- ಎಡಿಟ್ ನಿಖರತೆ (Edit precision) – AI ಬೇರೆ ಯಾವುದನ್ನೂ ಬದಲಾಯಿಸದೆ ಸೂಚನೆಯನ್ನು ಪಾಲಿಸುವುದು.
- ಕಾಲಿಕ ಗುಣಮಟ್ಟ (Temporal quality) – ಚಲನೆಯ ಸಮಯದಲ್ಲಿ ಫ್ಲಿಕ್ಕರ್ (flicker), ವಾರ್ಪಿಂಗ್ (warping) ಅಥವಾ ಜಿಟ್ಟರ್ (jitter) ಕಾಣಿಸಿಕೊಳ್ಳದಿರುವುದು.
ಪ್ರತಿ ಕ್ಲಿಪ್ ಅನ್ನು ಮೊದಲ ಫ್ರೇಮ್, ಎರಡು ಹೆಜ್ಜೆಗಳ ನಡಿಗೆಯ ಮಧ್ಯಭಾಗ ಮತ್ತು ಅಂತಿಮ ಫ್ರೇಮ್ನಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಯಿತು. ಸ್ಕೋರಿಂಗ್ ಒಂದು ಸ್ಪಷ್ಟ ಮಾದರಿಯನ್ನು ತೋರಿಸಿತು.
ಅಂಕಿಅಂಶಗಳು ಏನು ಹೇಳುತ್ತವೆ
ಎಡಿಟ್ಗಳನ್ನು ಒಂದರ ಮೇಲೊಂದರಂತೆ ಅನ್ವಯಿಸಿದಾಗ, ಸ್ಕೋರ್ ಕಾರ್ಡ್ ಬಳಸಿ AI ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಯಿತು. ಸಿಂಗಲ್-ಪ್ರಾಂಪ್ಟ್ ಕಂಟ್ರೋಲ್ ಕೂಡ ಇದೇ ರೀತಿಯ ಮೌಲ್ಯಮಾಪನವನ್ನು ಪಡೆಯಿತು.
ಯಾರು ಗೆಲ್ಲುತ್ತಾರೆ ಮತ್ತು ಯಾರು ಸೋಲುತ್ತಾರೆ
ಒಂದೇ ಸಮಗ್ರ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬಳಸಲು ಶಕ್ತಿ ಇರುವ ಸ್ಟುಡಿಯೋಗಳು ಸುಗಮ ಕೆಲಸದ ಪ್ರಕ್ರಿಯೆಯನ್ನು (workflow) ಪಡೆಯುತ್ತವೆ. ಜನರೇಟಿವ್ ವಿಡಿಯೋ ಸಿಸ್ಟಮ್ಗಳ ಡೆವಲಪರ್ಗಳು ಒಂದು ಸ್ಪಷ್ಟ ಎಂಜಿನಿಯರಿಂಗ್ ಸವಾಲನ್ನು ಎದುರಿಸುತ್ತಿದ್ದಾರೆ—ಅದು ಅಂದರೆ ಸತತ ರೂಪಾಂತರಗಳ ನಡುವೆಯೂ ವಿಷಯದ (subject) ಸ್ಥಿರವಾದ 'ಲೇಟೆಂಟ್ ರೆಪ್ರೆಸೆಂಟೇಶನ್' (latent representation) ಅನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವುದು.
ವಿರೋಧಾತ್ಮಕ ವಾದ
ಕೆಲವು ಬಳಕೆದಾರರು ಹಂತ ಹಂತದ ಎಡಿಟಿಂಗ್ ಹೆಚ್ಚಿನ ಸೃಜನಾತ್ಮಕ ನಿಯಂತ್ರಣವನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ವಾದಿಸುತ್ತಾರೆ. ಒಂದೊಂದೇ ಅಂಶವನ್ನು ಸರಿಪಡಿಸುವ ಮೂಲಕ, ಅವರು ಮುಂದಿನ ಹಂತಕ್ಕೆ ಹೋಗುವ ಮೊದಲು ಪ್ರತಿ ಪದರವನ್ನು ಸೂಕ್ಷ್ಮವಾಗಿ ಹೊಂದಾಣಿಕೆ ಮಾಡಿಕೊಳ್ಳಬಹುದು. ಆದರೆ ಈ ನಮ್ಯತೆಯು (flexibility) ದೃಶ್ಯದ ನಿಖರತೆಯನ್ನು (visual fidelity) ಕುಂದಿಸುತ್ತದೆ ಎಂದು ಈ ಪರೀಕ್ಷೆಯು ತೋರಿಸುತ್ತದೆ. ಒಂದು ಕ್ರಿಯೇಟರ್ ಸೂಕ್ಷ್ಮ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ವಿಷಯದಲ್ಲಿನ ಸಣ್ಣ ಬದಲಾವಣೆಗಳನ್ನು ಒಪ್ಪಿಕೊಂಡರೆ, ಪ್ರಸ್ತುತ Gemini Omni ವರ್ಕ್ಫ್ಲೋ ಇನ್ನೂ ಉಪಯುಕ್ತವಾಗಬಹುದು.
ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು
- ಪ್ರಾಂಪ್ಟ್ಗಳ ನಡುವೆಯೂ ವಿಷಯದ (subject) ಲೇಟೆಂಟ್ ಕೋಡ್ ಅನ್ನು ಸ್ಥಿರವಾಗಿಡುವ ಮಾದರಿ ಸುಧಾರಣೆಗಳು (Model refinements).
- ಕ್ರಿಯೇಟರ್ಗಳು ಡ್ರಿಫ್ಟ್ ಅನ್ನು ಗುರುತಿಸಲು ಮತ್ತು ವಿಷಯವನ್ನು “ಮರು-ಸ್ಥಿರಗೊಳಿಸಲು” (re-anchor) ವಿನಂತಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುವ ಬಳಕೆದಾರರ ಪ್ರತಿಕ್ರಿಯೆ ಲೂಪ್ಗಳು (User-feedback loops).
ಸಾರಾಂಶ
Gemini Omni ಗೆ ಏಕಕಾಲದಲ್ಲಿ ಸಂಪೂರ್ಣ ಸೂಚನೆಗಳನ್ನು ನೀಡಿದಾಗ ಅದು ಸುಂದರವಾದ, ಬಹು-ಅಂಶಗಳ ವಿಡಿಯೋವನ್ನು ಸೃಷ್ಟಿಸಬಲ್ಲದು, ಆದರೆ ಎಡಿಟ್ಗಳನ್ನು ಒಂದರ ಮೇಲೊಂದರಂತೆ ಅನ್ವಯಿಸಿದಾಗ ಅದರ ವಿಷಯದ ನಿಖರತೆ (subject fidelity) ಕಡಿಮೆಯಾಗುತ್ತದೆ.