گوگل تولید هوش مصنوعی را برای همیشه تغییر میدهد
مدلهای استاندارد هوش مصنوعی، متن را کلمه به کلمه تولید میکنند. این روش کند است. هر کلمه جدید نیازمند یک گذر کامل از شبکه است. این امر باعث ایجاد گلوگاه (bottleneck) میشود.
Google DeepMind برای حل این مشکل، DiffusionGemma را ایجاد کرد. این مدل از discrete text diffusion استفاده میکند. عملکرد آن به این صورت است که بلوکهای بزرگ متن را بهطور همزمان اصلاح میکند.
ویژگیهای کلیدی DiffusionGemma:
- تولید موازی: این مدل بلوکهای کامل متن را بهطور همزمان اصلاح میکند. این مدل از چپ به راست کار نمیکند.
- سرعت ۴ برابر بیشتر: گوگل گزارش داده است که سرعت در GPUها تا ۴ برابر بیشتر است.
- Mixture of Experts: این مدل در هر مرحله از یک backbone ۲۶ میلیاردی، از ۳.۸ میلیارد پارامتر استفاده میکند.
این مدل از معماری encoder-decoder استفاده میکند. این مدل توکنها را در یک بوم دیجیتال بهصورت real time اصلاح میکند.
شما میتوانید همین حالا از آن استفاده کنید. این مدل از لایسنس Apache 2.0 استفاده میکند. این مدل با Hugging Face Transformers و vLLM سازگار است.
آیا مدلهای diffusion جایگزین مقیاسپذیری سنتی هوش مصنوعی خواهند شد؟ یا فقط برای نیازهای تولید سریع به کار خواهند رفت؟ نظرات خود را با ما در میان بگذارید.
منبع: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi