𝗚𝗼𝗼𝗴𝗹𝗲 𝗰𝗮𝗺𝗯𝗶𝗮 𝗽𝗲𝗿 𝘀𝗲𝗺𝗽𝗿𝗲 𝗹𝗮 𝗴𝗲𝗻𝗲𝗿𝗮𝘇𝗶𝗼𝗻𝗲 𝗱𝗶 𝗜𝗔
I modelli IA standard generano il testo una parola alla volta. Questo metodo è lento. Ogni nuova parola richiede un passaggio completo attraverso la rete. Ciò crea un collo di bottiglia.
Google DeepMind ha creato DiffusionGemma per risolvere questo problema. Utilizza la diffusione di testo discreta. Funziona perfezionando grandi blocchi di testo contemporaneamente.
Caratteristiche principali di DiffusionGemma:
- Generazione parallela: Il modello perfeziona interi blocchi di testo simultaneamente. Non lavora da sinistra a destra.
- Velocità 4 volte superiori: Google riporta velocità fino a 4 volte più rapide sulle GPU.
- Mixture of Experts: Il modello utilizza 3,8 miliardi di parametri per passaggio da un backbone da 26 miliardi di parametri.
Questo modello utilizza un'architettura encoder-decoder. Corregge i token su una tela digitale in tempo reale.
Puoi usarlo subito. Utilizza la licenza Apache 2.0. È compatibile con Hugging Face Transformers e vLLM.
I modelli di diffusione sostituiranno lo scaling tradizionale dell'IA? O serviranno solo per le esigenze di generazione rapida? Condividi le tue opinioni.
Fonte: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io
Community di apprendimento opzionale: https://t.me/GyaanSetuAi