#diffusion language model のAIニュース

2件の記事

NVIDIA、凍結された自己回帰バックボーンに基づくオープン重み拡散言語モデル「Nemotron-Labs-TwoTower」を公開

NVIDIA はテキスト生成のスループットボトルネック解消を目指し、事前学習済み自己回帰モデルを基盤としたオープン重みの拡散言語モデル「Nemotron-Labs-TwoTower」を公開した。

研究者らが、拡散言語モデルのテキスト生成において、トークンごとに安定化速度が異なる問題に対処する段階的改良規制手法を提案した。この手法は、均一な改良規則の代わりに、トークンごとに改良の必要性を動的に評価することで、冗長な処理を削減し、デコード速度を向上させる。