Google DeepMind、ローカルAIを4倍高速化する拡散モデル「DiffusionGemma」を公開
Google DeepMindは、従来の逐次生成ではなくテキストブロックを並列生成する新モデル「DiffusionGemma」を発表し、Nvidia DGXやゲーミングGPUなどのローカル環境で処理速度を4倍に向上させたと発表した。
また一日、Google から新たな AI モデルが登場しました。今回は Google DeepMind が Gemma 4 オープンモデルファミリーの新しいメンバーをリリースしましたが、これは他のラインナップとは根本的に異なります。DiffusionGemma は、ほとんどの AI モデルのように出力を逐次的に生成するのではなく、テキストのブロック全体を並列で生成することができます。Google によれば、Nvidia DGX や一般的なゲーミング GPU といったローカルハードウェア上で実行する際、これにより高速化と効率化が実現されます。
ほとんどの AI モデルは自己回帰型（autoregressive）として設計されており、左から右へ一トークンずつテキストを生成します。一方、DiffusionGemma は画像生成モデルに近く、最初は静的な状態から始めてノイズを除去し、目的のコンテンツを作成するアプローチを採用しています。このモデルはキャンバス上で複数の回数をかけてプレースホルダートークンのフィールドを走らせ、確率の高いトークンを生成して他のトークンの推定値を改善します。プロセスの最終段階で、モデルは一括してトークン出力を確定させます——これが「ノイズ除去された」テキストキャンバスです。
DiffusionGemma は Google のオープンモデルの領域においてかなり大規模なモデルです。これは Mixture of Experts (MoE) モデルであり、パラメータ総数は 260 億ですが、推論時に活性化されるのは 38 億のみです。つまり、ハイエンド GPU の 18GB RAM アロケーションに収まるはずです。RTX 5090 でテストしたところ、DiffusionGemma は秒間約 700 トークンを生成します。単一の Nvidia H100 AI アクセラレーターを使用すれば、秒間 1,000 トークン以上を生成可能です。これは同サイズの自己回帰型 Gemma モデルの出力のおよそ 4 倍に相当します。
記事全文を読む
コメント
原文を表示
Another day, another AI model from Google. This time, Google DeepMind has released a new member of the Gemma 4 open model family, but it's fundamentally different from the rest of the lineup. DiffusionGemma doesn't generate outputs linearly like most AI models. Instead, it can produce an entire block of text in parallel. Google says this makes it faster and more efficient when running on local hardware like an Nvidia DGX or a humble gaming GPU.
Most AI models are designed to be autoregressive—they generate text left to right one token at a time. DiffusionGemma has more in common with image generation models, which start with static and then denoise it to create the desired content. This model takes a field of placeholder tokens running over the canvas multiple times to generate likely tokens and using those to improve estimation of others. At the end of the process, the model finalizes its token outputs in one large block—the "denoised" text canvas.
DiffusionGemma is fairly large in the realm of Google's open models. It's a Mixture of Experts (MoE) model with a total of 26 billion parameters, but only 3.8 billion are activated during inference. That means it should fit in the 18GB RAM allotment of a high-end GPU. In testing with an RTX 5090, DiffusionGemma spits out around 700 tokens per second. With a single Nvidia H100 AI accelerator, DiffusionGemma can produce 1,000+ tokens per second. That's about four times the output of the similarly sized autoregressive Gemma models.
Read full article
Comments
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み