𝗚𝗼𝗼𝗴𝗹𝗲 𝗖𝗵𝗮𝗻𝗴𝗲𝘀 𝗔𝗜 𝗚𝗲𝗻𝗲𝗿𝗮𝘁𝗶𝗼𝗻 𝗙𝗼𝗿𝗲𝘃𝗲𝗿

GoogleがAI生成を永遠に変える

標準的なAIモデルは、テキストを一度に1単語ずつ生成します。この手法は低速です。新しい単語を生成するたびに、ネットワーク全体を一度通過させる必要があるため、ボトルネックが生じます。

Google DeepMindはこの問題を解決するためにDiffusionGemmaを開発しました。これは離散テキスト拡散（discrete text diffusion）を利用しており、大きなテキストブロックを一度にリファインすることで動作します。

DiffusionGemmaの主な特徴：

• 並列生成：モデルはテキストのブロック全体を同時にリファインします。左から右へと順番に処理するわけではありません。
• 4倍の高速化：Googleの報告によると、GPU上で最大4倍高速です。
• Mixture of Experts：26Bパラメータのバックボーンから、ステップごとに3.8Bパラメータを使用します。

このモデルはエンコーダー・デコーダー・アーキテクチャを採用しています。デジタルキャンバス上で、リアルタイムにトークンを修正していきます。

すでに利用可能です。Apache 2.0ライセンスを採用しており、Hugging Face TransformersやvLLMで動作します。

拡散モデルは従来のAIスケーリングに取って代わるのでしょうか？それとも、高速生成のニーズを満たすためだけのものになるのでしょうか？あなたの考えをぜひ共有してください。

出典: https://dev.to/incredibleheck/google-just-killed-autoregressive-ai-generation-diffusiongemma-36io

オプションの学習コミュニティ: https://t.me/GyaanSetuAi