בינה מלאכותית יוצרת צורות, לא משחקים

ניסיתי לבדוק כלי חדש של "prompt-to-build" ב-Minecraft. ציפיתי למהפכה. במקום זאת, קיבלתי מפה של קיר.

הכלי יכול ליצור כדור או מגדל תוך דקה. אלו נראים טוב. אבל ברגע שביקשתי חוקים ספציפיים, הוא נכשל.

ביקשתי בקתת עץ בגודל 15x15 עם דלת הפונה דרומה. ה-AI נתן לי קיר אפור ללא דלת. הגודל היה שגוי. לא היה בו עץ. הוא היה חסר תועלת.

הנה הבעיה המרכזית:

מודלים גנרטיביים הם מנועי סבירות (plausibility). משחקים זקוקים למנועי נכונות (correctness).

מודל יכול ליצור משהו שנראה "נכון". אבל משחק צריך משהו ש"הוא" נכון. הגדלת קנה המידה של מודל לא תפתור את זה. אי אפשר להגיע מ"נראה כמו בית" ל"הוא בית עם דלת עובדת" באמצעות הגדלת המודל בלבד.

הפער קיים בגלל שלושה חלקים חסרים:

  • אילוצים בדידים (Discrete constraints): מודל יכול להעריך מה זה "קטן", אבל הוא לא יכול להבטיח "בדיוק 15 בלוקים".
  • מבנה הרכבתי (Compositional structure): מודל יכול לצייר צורה, אבל הוא לא יכול לנהל סצנה של מספר אובייקטים ביחס זה לזה.
  • נכונות פונקציונלית (Functional correctness): מודל לא יודע אם שחקן יכול באמת לעבור דרך שער. הוא רק יודע איך שער נראה.

כדי לתקן זאת, עלינו להפסיק להשתמש במודלים מונוליטיים. אנחנו זקוקים לתהליך (pipeline) שמפריד בין הרציף לבדיד:

  1. תכנון (Plan): שימוש במתכנן סימבולי (symbolic planner) כדי להפוך הנחיה (prompt) לרשימה קשיחה של חוקים וגרף סצנה (scene graph).
  2. יצירה (Generate): שימוש במודלים גנרטיביים כדי ליצור את הצורות הבודדות עבור כל אובייקט.
  3. מיקום (Place): שימוש בפתרון (solver) כדי לסדר את הצורות הללו כך שיעמדו בכל החוקים.
  4. אימות (Verify): שימוש בבודק (checker) כדי להוכיח שהתוצאה תואמת לתוכנית המקורית.

הגנרטור מספק את היופי. המבנה מספק את הנכונות.

העתיד של תוכן AI אינו מודל אחד ענק. זוהי מערכת של כלים מתמחים הפועלים יחד. המנצח לא יהיה זה שיש לו את מחולל הצורות הטוב ביותר. יהיה לו את לולאת האימות (verification loop) הטובה ביותר.

Source: https://dev.to/harrisonsec/generative-ai-builds-shapes-not-games-the-constraint-gap-and-the-architecture-that-closes-it-2e30

Optional learning community: https://t.me/GyaanSetuAi