Gemini Omni של Google, הנגיש דרך ממשק Google Vids החדש, עבר מבחן מעבדתי מעשי כדי לבדוק אם הבינה המלאכותית יכולה לשמור על יציבות של דמות שליח (subject-courier) אחת לאחר שלוש עריכות וידאו רצופות.
למה המבחן הזה חשוב
כלי וידאו גנרטיביים מבטיחים שכל אחד יוכל להחליף רקעים, להוסיף תאורה או לפזר אפקטים באמצעות פקודת טקסט אחת. עבור יוצר, ההבטחה היא פשוטה: מתחילים עם קליפ גולמי, מקלידים "תגרום לזה להיראות כמו גשם בלילה", ומקבלים סרטון קצר ומלוטש. רוב המשתמשים אינם רואים את המחיר הנסתר של "סחיפה" (drift) – האובדן ההדרגתי של המראה, התנוחה או התנועה של הדמות המקורית ככל שהבינה המלאכותית מפרשת כל הוראה חדשה. אם פניו של השליח משתנים מעט לאחר העריכה השנייה, התוצר הסופי נראה לא מקצועי ועשוי לדרוש ניקוי ידני יקר.
הניסוי
קליפ בסיס (Baseline clip) – צילום סטודיו במצלמה סטטית של אדם אחד הלובש מעיל רוח כחול כהה, מחזיק קופסת קרטון קטנה ביד שמאל, ועושה שני צעדים לעבר המצלמה. התאורה הייתה אחידה, הרקע פשוט והתנועה פשוטה.
רצף עריכות – שלוש עריכות הוחלו אחת אחרי השנייה:
- החלפת רקע – החלפת הסטודיו ברחוב עירוני גשום בלילה.
- שינוי תאורה – הוספת תאורת קצה (rim light) כחולה סביב השליח וזוהר חמים מחלון של חנות.
- שכבת אווירה – פיזור טיפות גשם קלות וערפל דק.
הרצה של "בקרה ישירה" (direct control) שילבה את כל שלוש ההוראות בפרומפט אחד, מה שאפשר לבינה המלאכותית ליצור את הקליפ הסופי בבת אחת.
כיצד נמדדה העקביות
שנים-עשר קריטריונים הרכיבו את לוח הניקוד, מקובצים לארבעה נושאים:
- יציבות הדמות – הפנים, השיער והלבוש נשארים זהים.
- יציבות הסצנה – זווית המצלמה ומיקום הדמות נשארים קבועים.
- דיוק העריכה – הבינה המלאכותית מבצעת את ההוראה מבלי לשנות דבר אחר.
- איכות זמנית (Temporal quality) – ללא ריצוד, עיוות או רעד (jitter) במהלך התנועה.
כל קליפ הוערך בפריים הראשון, בנקודת האמצע של צעדי ההליכה, ובפריים האחרון. הניקוד חשף דפוס ברור.
מה המספרים אומרים
כאשר העריכות נערמו זו על גבי זו, הבינה המלאכותית הוערכה באמצעות לוח הניקוד. קבוצת הביקורת של הפרומפט היחיד קיבלה את אותה הערכה.
מי מרוויח ומי מפסיד
סטודיו שיכול להרשות לעצמו פרומפט אחד מקיף ייהנה מזרימת עבודה חלקה יותר. מפתחים של מערכות וידאו גנרטיביות ניצבים בפני מכשול הנדסי ברור – הצורך לשמור על ייצוג לטנטי (latent representation) יציב של הדמות לאורך טרנספורמציות רצופות.
טיעון נגד
משתמשים מסוימים טוענים כי עריכה הדרגתית מציעה שליטה יצירתית רבה יותר. על ידי התאמת אלמנט אחד בכל פעם, הם יכולים לבצע כוונון עדין לכל שכבה לפני המעבר לבאה בתור. המבחן מראה כי הגמישות הזו באה על חשבון הנאמנות הוויזואלית (visual fidelity). אם יוצר מוכן לקבל שינויים קלים בדמות בתמורה לשליטה מפורטת, זרימת העבודה הנוכחית של Gemini Omni עשויה עדיין להיות ישימה.
מה כדאי לעקוב אחריו בהמשך
- שיפורי מודלים שינעלו את הקוד הלטנטי של הדמות לאורך פרומפטים שונים.
- לולאות משוב משתמשים שיאפשרו ליוצרים לסמן "סחיפה" (drift) ולבקש "עיגון מחדש" (re-anchor) של הדמות.
שורה תחתונה
Gemini Omni יכולה להפיק סרטון מלוטש ורב-אלמנטים כאשר מוזנים לה סט מלא של הוראות בבת אחת, אך הנאמנות לדמות נשחקת כאשר העריכות נערמות זו על גבי זו.