𝗚𝗼𝗼𝗴𝗹𝗲 𝘃𝗲𝗿𝗮𝗻𝗱𝗲𝗿𝘁 𝗱𝗶𝗲 𝗞𝗜-𝗚𝗲𝗻𝗲𝗿𝗶𝗲𝗿𝘂𝗻𝗴 𝗳ü𝗿 𝗶𝗺𝗺𝗲𝗿
Standard-KI-Modelle generieren Text Wort für Wort. Diese Methode ist langsam. Jedes neue Wort erfordert einen vollständigen Durchlauf durch das Netzwerk. Dies führt zu einem Engpass.
Google DeepMind hat DiffusionGemma entwickelt, um dieses Problem zu lösen. Es nutzt diskrete Textdiffusion. Dabei werden große Textblöcke gleichzeitig verfeinert.
Hauptmerkmale von DiffusionGemma:
- Parallele Generierung: Das Modell verfeinert ganze Textblöcke gleichzeitig. Es arbeitet nicht von links nach rechts.
- 4-mal schnellere Geschwindigkeit: Google berichtet von bis zu 4-mal höheren Geschwindigkeiten auf GPUs.
- Mixture of Experts: Das Modell nutzt pro Schritt 3,8 Mrd. Parameter aus einem 26-Mrd.-Parameter-Backbone.
Dieses Modell verwendet eine Encoder-Decoder-Architektur. Es korrigiert Token in Echtzeit auf einer digitalen Leinwand.
Sie können es bereits jetzt nutzen. Es steht unter der Apache 2.0-Lizenz. Es ist kompatibel mit Hugging Face Transformers und vLLM.
Werden Diffusionsmodelle das traditionelle KI-Scaling ersetzen? Oder werden sie nur für schnelle Generierungsanforderungen dienen? Teilen Sie Ihre Gedanken mit uns.
Quelle: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
Optionale Lern-Community: https://t.me/GyaanSetuAi