ページを読み込み中…
ページを読み込み中…
4件の記事
Google DeepMind は既存の Gemma 4 を改修して訓練コストを 10% に抑え、256 トークンを並列生成する DiffusionGemma を開発したが推論性能は劣る。
Google の DiffusionGemma は、26B モデルの MoE 構造を採用し、テキストブロックを並列生成することで GPU 上で最大4倍の速度向上を実現しました。このモデルは低遅延と双方向アテンションを特徴とし、量子化により高価なコンシューマー向け GPU でも動作可能ですが、標準モデルと比較して品質が若干低下します。
Google DeepMindチームは、標準的な自己回帰型ではなくテキスト拡散方式を採用した実験的オープンモデル「DiffusionGemma」をApache 2.0ライセンスで公開し、開発者や研究者向けに高速な生成ワークフローを提供する。
線形アテンション・ハイブリッド、テキスト拡散、コード世界モデル、小型再帰型トランスフォーマーなど、次世代AI技術の新たなアプローチを紹介。