𝗚𝗼𝗼𝗴𝗹𝗲 𝗔𝗜 𝗷𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻 𝗸𝗮𝘆𝗮𝗺𝗰𝗵𝗲 𝗯𝗮𝗱𝗹𝗮𝘁 𝗮𝗵𝗲
मानक AI मॉडेल्स एका वेळी एक शब्द तयार करतात. ही पद्धत संथ आहे. प्रत्येक नवीन शब्दासाठी नेटवर्कमधून पूर्ण प्रक्रिया करावी लागते. यामुळे कामात अडथळा (bottleneck) निर्माण होतो.
हे सोडवण्यासाठी Google DeepMind ने DiffusionGemma तयार केले आहे. हे discrete text diffusion वापरते. हे मजकुराचे मोठे भाग एकाच वेळी सुधारून काम करते.
DiffusionGemma ची मुख्य वैशिष्ट्ये:
- Parallel Generation: हे मॉडेल मजकुराचे संपूर्ण भाग एकाच वेळी सुधारते. हे डावीकडून उजवीकडे काम करत नाही.
- 4x अधिक वेग: Google ने कळवले आहे की GPUs वर हे 4x अधिक वेगाने काम करते.
- Mixture of Experts: हे मॉडेल 26B पॅरामीटर बॅकबोनमधून प्रति स्टेप 3.8B पॅरामीटर्स वापरते.
हे मॉडेल encoder-decoder आर्किटेक्चर वापरते. हे डिजिटल कॅनव्हासवर रिअल-टाइममध्ये टोकन्स सुधारते.
तुम्ही आता याचा वापर करू शकता. हे Apache 2.0 लायसन्स अंतर्गत येते. हे Hugging Face Transformers आणि vLLM सोबत काम करते.
डिफ्यूजन मॉडेल्स पारंपारिक AI स्केलिंगची जागा घेतील का? की ते फक्त जलद जनरेशनच्या गरजा पूर्ण करतील? तुमचे विचार शेअर करा.
स्रोत: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi