Google AI जनरेशन को हमेशा के लिए बदल रहा है
मानक AI मॉडल एक बार में एक शब्द करके टेक्स्ट जनरेट करते हैं। यह तरीका धीमा है। प्रत्येक नए शब्द के लिए नेटवर्क के माध्यम से एक पूर्ण पास की आवश्यकता होती है। इससे एक बाधा (bottleneck) उत्पन्न होती है।
Google DeepMind ने इसे हल करने के लिए DiffusionGemma बनाया है। यह discrete text diffusion का उपयोग करता है। यह एक साथ टेक्स्ट के बड़े ब्लॉक्स को रिफाइन करके काम करता है।
DiffusionGemma की मुख्य विशेषताएं:
- Parallel Generation: मॉडल एक साथ टेक्स्ट के पूरे ब्लॉक्स को रिफाइन करता है। यह बाएं से दाएं काम नहीं करता है।
- 4x तेज़ गति: Google ने GPUs पर 4x तक तेज़ गति की रिपोर्ट दी है।
- Mixture of Experts: मॉडल 26B पैरामीटर बैकबोन से प्रति स्टेप 3.8B पैरामीटर का उपयोग करता है।
यह मॉडल encoder-decoder आर्किटेक्चर का उपयोग करता है। यह रियल टाइम में एक डिजिटल कैनवास पर टोकन को ठीक करता है।
आप इसे अभी उपयोग कर सकते हैं। यह Apache 2.0 लाइसेंस का उपयोग करता है। यह Hugging Face Transformers और vLLM के साथ काम करता है।
क्या diffusion models पारंपरिक AI स्केलिंग की जगह ले लेंगे? या वे केवल तेज़ जनरेशन की ज़रूरतों को पूरा करेंगे? अपने विचार साझा करें।
स्रोत: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi