𝗚𝗼𝗼𝗴𝗹𝗲 𝗰𝗵𝗮𝗻𝗴𝗲 𝗹'𝗜𝗔 𝗴𝗲́𝗻𝗲́𝗿𝗮𝘁𝗶𝘃𝗲 𝗽𝗼𝘂𝗿 𝘁𝗼𝘂𝗷𝗼𝘂𝗿𝘀

Les modèles d'IA standards génèrent du texte mot par mot. Cette méthode est lente. Chaque nouveau mot nécessite un passage complet à travers le réseau. Cela crée un goulot d'étranglement.

Google DeepMind a créé DiffusionGemma pour résoudre ce problème. Il utilise la diffusion de texte discrète. Il fonctionne en affinant de grands blocs de texte simultanément.

Caractéristiques clés de DiffusionGemma :

  • Génération parallèle : Le modèle affine des blocs entiers de texte simultanément. Il ne fonctionne pas de gauche à droite.
  • Vitesses 4x plus rapides : Google rapporte des vitesses jusqu'à 4 fois plus rapides sur les GPU.
  • Mixture of Experts : Le modèle utilise 3,8 milliards de paramètres par étape à partir d'une structure de base de 26 milliards de paramètres.

Ce modèle utilise une architecture encodeur-décodeur. Il corrige les jetons (tokens) sur un canevas numérique en temps réel.

Vous pouvez l'utiliser dès maintenant. Il utilise la licence Apache 2.0. Il fonctionne avec Hugging Face Transformers et vLLM.

Les modèles de diffusion remplaceront-ils la mise à l'échelle traditionnelle de l'IA ? Ou ne serviront-ils qu'aux besoins de génération rapide ? Partagez votre avis.

Source : https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io

Communauté d'apprentissage optionnelle : https://t.me/GyaanSetuAi