Residual Context Diffusion Language Models｜残差コンテキスト拡散言語モデル

拡散大規模言語モデル（dLLMs）は、複数のトークンを並列にデコードできるため、純粋な自己回帰型言語モデルに対する有望な代替手段として登場しました。しかし、最先端のブロック分割型 dLLM は、「再マスク」メカニズムに依存しており、最も確信度の高いトークンだけをデコードして他を破棄するため、計算資源を実質的に浪費しています。これらの破棄されたトークンは、後のデコード反復において有用な文脈情報を保持しているため、その計算を再利用することは有益であることを示します。これを踏まえ、我々は残差文脈拡散（RCD）と呼ばれるモジュールを提案します。