Google משנה את עולם ה-AI Generation לנצח

מודלי AI סטנדרטיים מייצרים טקסט מילה אחר מילה. השיטה הזו איטית. כל מילה חדשה דורשת מעבר מלא דרך הרשת. זה יוצר צוואר בקבוק.

Google DeepMind יצרה את DiffusionGemma כדי לפתור זאת. היא משתמשת ב-discrete text diffusion. היא פועלת על ידי זיקוק של בלוקים גדולים של טקסט בבת אחת.

תכונות מרכזיות של DiffusionGemma:

  • יצירה מקבילית: המודל מזקק בלוקים שלמים של טקסט בו-זמנית. הוא לא עובד משמאל לימין.
  • מהירות גבוהה פי 4: Google מדווחת על מהירויות של עד פי 4 על GPUs.
  • Mixture of Experts: המודל משתמש ב-3.8B פרמטרים בכל שלב מתוך backbone של 26B פרמטרים.

מודל זה משתמש בארכיטקטורת encoder-decoder. הוא מתקן tokens על פני קנבס דיגיטלי בזמן אמת.

ניתן להשתמש בו כבר עכשיו. הוא תחת רישיון Apache 2.0. הוא עובד עם Hugging Face Transformers ו-vLLM.

האם מודלים של diffusion יחליפו את ה-AI scaling המסורתי? או שהם ישמשו רק לצרכים של יצירה מהירה? שתפו את המחשבות שלכם.

מקור: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io

קהילת למידה אופציונלית: https://t.me/GyaanSetuAi