研究が示す、推論モデルが解決策を超えて考えがちな理由

研究は、推論モデルがなぜ解答をはるかに超えて考え続けるのかを示す 大規模推論モデルは、正解をはるかに過ぎて考え続けることが多い：再確認、言い換え、すでに正解を得た内容の再確認を行う。新しいバイトダンスの研究は、モデルが実際にはいつ終了すべきかを知っていることを示している。一般的なサンプリング手法が、単にそれらを停止させないだけだ。 この問題は新しいものではない。Deepseek-R1は、AIME 2025ベンチマークでClaude 3.7 Sonnetと同等の精度ながら、約5倍の長さの解答を生成する。QwQ-32Bは、最も短い解答で2パーセントポイント高いスコアを達成し、同時に31パーセント少ないトークンを使用する。そして、正解と不正解の両方が生成されたケースの72パーセントにおいて、より長い解答の方がより頻繁に間違っていた。 答えはそこにあるが、モデルは話し続ける この問題を定量化するため、研究者たちはRFCS（最初の正しいステップの比率）を導入した。これは、思考の連鎖の中で正解が最初に現れる位置を全体の長さに対して追跡する。MATH-500では、正しく解答された問題の半数以上において、正しい解法が終了よりずっと前に現れる。 考えすぎの典型的な例：モデルは500トークン後に正解に到達するが、その後、冗長な再確認と検証のためにさらに452トークンを生成する。| 画像: Huang et al. あるケースでは、モデルは500トークン後に答えを正確に出したが、さらに452トークンにわたって続けた：再確認、言い換え、すでに正しかったことの再確認である。このパターンは、Deepseek-R1-Distill-Qwen-1.5Bのような小型モデルからQwen3-8Bのような大型モデルまで両方に見られる。強力な事後学習でもこれは修正されない。 テストされた3つのモデルすべてにおいて、正解の半数以上が、最初の正しい解法の後に不要な推論ステップを含んでいた。より強力なモデルでもほとんど改善されない。| 画像: Huang et al. モデルはいつ止めるかを知っている；サンプリング手法が知らないだけだ 推論時にモデルが複数の思考連鎖を同時に追う場合、それらは高い確信度を割り当てる、短く正確な推論経路を確実に見つける。研究者たちはこれをTSearchで実証している。これは個々のトークンではなく、連鎖全体の平均確率を評価する。 3つの観察がこれを裏付けている：選択された経路は、より短く、より正確な答えを生み出す。それらの終点では、停止信号が次のトークン候補の中で一貫して首位にランクされる：モデルは終了したことを知っている。そして、より多くの並列経路がこの振る舞いをより安定させる。効率的な終了はすでにモデルに組み込まれている；一般的なサンプリング手法がそれを活用していないだけだ。 推論経路がモデルの全体的な確信度に基づいて選択される場合（上）、モデルは高い確実性を持って終了する。この尺度がない場合（下）、終了信号は不確かである。| 画像: Huang et al. SAGEはトークン単位ではなく、ステップ単位で探索する 研究者たちの解決策はSAGE（Self-Aware Guided Efficient Reasoning）である。トークン単位で拡張する代わりに、SAGEは思考の連鎖を推論ステップ全体として拡張し、各ステップ後にモデルが終了を信号しているかどうかをチェックする。もしそうなら、推論は停止する。 実験では、SAGEは設定に応じて異なる振る舞いを示した：強力なモデルと難しいベンチマークでは、精度が主に向上した。弱いモデルと単純なタスクでは、解答の長さが大幅に短縮された。基本的に、SAGEはモデルが考えすぎている場所では短縮し、能力が余っている場所ではより良い解決策を見つけた。 これらのパターンを恒久的にするため、研究者たちはSAGE-RLを提案している。これは標準的な強化学習に小さな調整を加えたものだ。トレーニンググループごとに8つの応答のうち、2つはSAGEから、6つは標準サンプリングから得られる。モデルは、アドバンテージ推定量を通じて、より簡潔な推論経路を好むように学習する。 MATH-500、AIME 2024および2025、OlympiadBenchを含む6つの数学ベンチマークにわたる結果は一貫している：LC-R1、ThinkPrune、AdaptThinkのような手法は、精度を犠牲にしてトークンを削減する。SAGE-RLは両方を改善した。Deepseek-R1-Distill-Qwen-7Bでは、SAGE-GRPOがMATH-500で91.6パーセントに対して93パーセントを達成し、応答長を3,871トークンから2,141トークンに削減した。 同じ座標問題、二つの解決策：ベースモデルDS-1.5Bは複数の再確認を伴い1,381トークンを必要とする。SAGE-RLでトレーニングされたモデルは、712トークンで同じ答えに到達する。| 画像: Huang et al. AIME 2025では、DS-1.5Bの精度が6.2パーセントポイント跳ね上がる。同クラスで最強のモデルの一つであるQwen3-8Bでさえ、SAGE-GRPOにより応答長が18,342トークンから9,183トークンに半減し、精度を損なわない。ほとんどのモデルとベンチマークで、推論時間は40パーセント以上短縮される。 最大の向上は最も難しいタスクで現れ、そこに効率的な推論のための最も大きな余地があることを示唆している。考えすぎを修正するのに、新しいアーキテクチャやより洗練された報酬関数は必要ないかもしれない。モデルが終了を信号した時に、単に止めさせてやるだけで十分かもしれない。 推論モデルの考えすぎはしばらく前から研究テーマとなっている。約1年前、ある研究は対話シナリオにおける過剰な「思考」がパフォーマンスを顕著に損なうことを示した。より最近では、Googleの研究者たちは、推論モデルが思考の連鎖をシミュレートされた視点間の内部討論として構造化し、精度を向上させるが、同時に推論に時間がかかる理由も説明していると発見した。 誇大広告のないAIニュース – 人間によるキュレーション THE DECODERの購読者として、広告なしの読書、週刊AIニュースレター、独占的な「AIレーダー」フロンティアレポート（年6回）、コメントへのアクセス、そして完全なアーカイブを手に入れましょう。 誇大広告のないAIニュース 人間によるキュレーション。 20パーセント以上のローンチ割引。 気が散ることなく読む – Google広告なし。 コメントとコミュニティディスカッションへのアクセス。 週刊AIニュースレター。 年6回：「AIレーダー」 – 主要AIトピックに関する深堀り。 KI Proオンラインイベントの最大25％オフ。 10年分の完全なアーカイブへのアクセス。 The Decoderから最新のAIニュースを入手しましょう。

研究が示す、推論モデルが解決策を超えて考えがちな理由

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト