Sakana AI、テスト時スケーリング手法「UnMaskFork」発表

UnMaskFork の基本原理

ランダム性を高める従来のアプローチではなく、異なるモデルが異なる段階を担当する「モデルスイッチング」により多様性を創出し、モンテカルロ木探索で最適なシークエンスを探索する手法である。

拡散言語モデルへの適応

左から右へ生成する標準的な LLM と異なり、全シーケンスを一度に見て部分的に埋めていく拡散言語モデル（MDLM）特有の課題に対し、追加学習なしで推論時に複数の事前学習済みモデルを組み合わせることで解決した。

性能向上の実証

コーディングベンチマークにおいて既存の推論時スケーリング手法を上回る結果を示し、数学タスクにおいても効果的にスケールすることを ICML 2026 の論文で示した。

集合知への取り組み

本発表は「AI の集合知」に関する広範な研究の一環であり、AB-MCTS や Sakana Fugu と同様に、モデルの多様性を強みとして活用する方向性を示している。

MDLMにおける推論時スケーリングの課題と解決

通常のLLMで有効な温度調整によるランダム性向上手法はマスク型拡散言語モデルでは機能しない。本研究はモデル切り替えとモンテカルロ木探索を用いて多様性を生み出すUnMaskForkを提案した。