Google DeepMind、Gemma 4 を改修しテキスト拡散モデル「DiffusionGemma」を公開

記事の3ポイント

1. 1

   低コストでのモデル改修

   Google DeepMind はゼロから学習するのではなく、既存の Gemma 4 を拡散モデルとして再構築し、トレーニング予算を元の 10% 未満に削減した。

2. 2

   並列生成による高速化

   DiffusionGemma はトークンを逐次ではなく並列で生成するため、256 トークンを同時に処理し、推論速度を約 1,500 トークン/秒に引き上げた。

3. 3

   ベンチマークでの性能差

   生成速度は向上したものの、特に推論タスクにおいて、元の自己回帰モデルと比較して品質が劣る結果となった。