FIPO：2%のトークンを精密追跡し、大規模モデルの推論ボトルネックを突破！

通義ラボ 2026-04-07 17:33 浙江

正確なトークンを追跡し、大規模言語モデルの強化学習における「バタフライ効果」を解く

バタフライ効果とは、小さな蝶の羽ばたきが遠くで嵐を巻き起こす可能性があるという概念です。

しかし、主流の強化学習（RLVR）は推論チェーン上のすべてのトークンを同様に扱います——どの「蝶」が鍵となるのかを認識していません。

では、どのように見つけ出すのでしょうか？

通義ラボのインテリジェントコンピューティングチームは、4つの技術ブログを連続して公開しました。最初の3つでは強化学習の「ブラックボックス」に深く入り込み、モデル推論の基礎メカニズムと潜在的な限界を段階的に解明しました。第4弾では、新しいアルゴリズム「FIPO（Future-KL Influenced Policy Optimization）」を正式に発表しました。この手法は「Future-KL」メカニズムを導入し、重要なトークンに報酬を与えることで、純粋な強化学習トレーニングにおける「推論長さの停滞」問題に対処します。32B規模の純粋な強化学習設定において、o1-miniおよび同等規模のDeepSeek-Zero-MATHに対する性能向上を先駆的に実現しました。

論文：https://arxiv.org/pdf/2603.19835

コード：https://github.com/qwenpilot/FIPO

モデル：https://www.modelscope.cn/models/qwenpilot/FIPO_32B

トレーニング曲線：https://swanlab.cn/@QwenPilot/FIPO

ブログ：https://qwen-pilot.notion.site/rlvr-theseus

大規模言語モデルが強化学習（RL）によるファインチューニングを経た後、業界の一般的な直感は、モデルの推論メカニズムが大幅に「書き換えられた」というものです。この仮説を検証するため、インテリジェントコンピューティングチームはトークンレベルでモデルの挙動を逐語的に解剖しました——トレーニング前後のすべての出力決定を引き合いに出して比較したのです。

結果は予想外のものでした：98%以上のトークンは、トレーニング前後でほとんど変化がありませんでした。

データから明らかになったのは、モデルの出力分布におけるJSダイバージェンス（JS Divergence：JS散度）がシーケンスの大部分でほぼゼロに近づき、ごく一部の位置でのみパルス状の急増が見られることです。つまり、強化学習はモデルに新たな能力を凭空から生み出したわけではなく、「極めてスパース（疎）だが重要」という特徴を示しています。

図（c）に示すように、強化学習の役割は精密な「車線変更スイッチ」のようなものです。ごく少数の重要な論理判断点（RL edit：強化学習編集）で微調整介入を行うだけで、モデルを本来辿り得るが維持が難しい正しい推論パスへと導くことができます。

Blog：https://qwen-pilot.notion.site/rlvr-direction

重要なトークンが極めてスパースであることがわかったなら、数万に及ぶ出力の中からそれらをいかに正確に見つけ出すかという課題が残ります。

さらなる探求において、チームは業界で一般的に使用される従来の評価指標（エントロピー Entropy、KLダイバージェンスなど）には本質的な観測の盲点があることに気づきました。これらの指標はモデルが「どれほど変化したか（振幅）」を測定することはできますが、変化の具体的な形態を明らかにすることができないのです。

図（a）および図（b）に示すように、従来の指標による観測では、ベースモデルと強化学習適用後のモデルの出力分布は高度に重複しており、依然として「大海に針を見つける」ような状態です。

そこでチームは、新しい観測次元として記号対数確率差（Δlog p）を導入しました。

このように理解できます：Δlog p は最適化の方向性（Direction）を正確に捉え、強化学習が特定のトークンの生成を「奨励」しているのか「抑制」しているのかを明確に定量化します。重要なのは、どれほど変化したかではなく、どの方向に変化したかです。

図（c）のトークン置換実験は最も直接的な検証を示しています。Δlog p によって筛选された重要な判断点において、ごく少量のトークンを置換するだけで、完全な強化学習推論性能を最高効率で再現することが可能であり、その精度はKLダイバージェンスやエントロピーを大幅に上回っています。

この法則を把握したことで、予期せぬ形でエンジニアリング上の新たな道が開かれました。テスト段階において、Δlog p の方向に沿ってこれらの重要な判断を直接増幅させるだけで、モデルは追加の学習を一切必要とせず、数学的問題の解答精度が大幅に向上することが示されました。

Blog：https://qwen-pilot.notion.site/rlvr-secrets

重要なトークンを見つけたことで、チームの視線はより長い推論チェーンへと向けられました。モデルは、この長大な思考プロセスの中でいったい何を行っているのでしょうか？

業界では一般的に、大規模言語モデルが推論過程において自己修正を行い、ある重要な瞬間に閃きを起こす、いわゆる「アハ体験」（Aha Moment）を引き出すことを期待しています。

しかし、チームが観察したのは、全く逆の現象でした。

モデルは第108ステップで正解である3507を既に算出していました。しかしその後、「待って、もう一度確認しよう...」という文を生成し、自ら新たに構築した誤った論理に引きずられ、最終的に15という不正解を出力しました。

チームはこの現象を「自己欺瞞」（Oops Moment）と呼んでいます。つまり、モデル自身が正解を覆してしまうのです。

これは偶然の個例に過ぎないのでしょうか？データは直感よりも遥かに残酷です。膨大なゼロから始まる強化学習の検証データを統計的に分析した結果、以下のことが明らかになりました。

肯定的な「アハ体験」の発生率：約1%

破壊的な「自己欺瞞」の発生率：約3%

訓練期間全体を通じて、「自己欺瞞」が発生する頻度は「アハ体験」のほぼ3倍に達しています。

なぜモデルはこのような「逆方向の最適化」を頻繁に行うのでしょうか？

根本的な原因は、既存の主流強化学習アルゴリズム（標準GRPOなど）の報酬メカニズムが粗雑であり、粗粒度信用分配（Coarse-Grained Credit Assignment）の欠陥が存在することにあります。最終的な答えが正しければ、従来のグローバル報酬メカニズムは、それが重要な論理の展開であったか、意味のない自己疑念を含む文句であったかを問わず、推論チェーン上のすべてのトークンに対して均一な優位性（Uniform Advantage）の報酬を一律に分配します。

モデルはこれにより、局所的な正誤を認識できなくなる。長い推論チェーンの中で、どのステップが正しく、どのステップが自身を誤った方向へ導いているのかを理解できず、最終的に「推論長さの停滞」という性能ボトルネックに陥ってしまう。

Blog：https://qwen-pilot.notion.site/fipo

上記の3つの洞察をまとめると、一つの結論に収束する。モデルは推論の方法を知っているが、学習メカニズムはどのステップが正しいかを認識していない。報酬は常に最終結果で計算され、すべてのトークンに功績が均等に分け与えられる。

この問題を解決するには、新しいルールが必要だ。功績は、実際に貢献したトークンにのみ算出されなければならない。

これがFIPO（Future-KL Influenced Policy Optimization：未来KL影響受容政策最適化）である。インテリジェント計算チームが提案したこの新アルゴリズムは、「グローバル一元的報酬」から「トークンレベルの精密な信用配分」への飛躍を実現する。

中核メカニズム：トークンレベルの「未来影響力（Future-KL）」を定量化する

従来のアルゴリズムは、軌跡の最終結果に基づく二元フィードバック（ORM：Outcome Reward Model）に依存している。つまり、答えが合っていれば報酬は均等分配される。FIPOのアプローチは異なる。Future-KL推定メカニズムを導入し、推論プロセスにおいて、各トークンがその後の推論軌跡に実際に与える影響をリアルタイムで追跡する。

具体的には、FIPOは各トークンが引き起こす確率シフト（Probability Shift）を追跡する。

現在のトークンから推論チェーンの末尾までのすべてのシフトを累積することで、そのトークンの「未来影響力（Future-KL）」が得られる。

この指標のフィードバックに基づき、アルゴリズムは2つの操作を行う。

正方向強化（Reinforcement）：その時、そのトークンがその後の推論に正の推進力を与えた場合、「安定したアンカー」と見なされ、重みが増加する。

逆方向抑制（Suppression）：逆に、その時、そのトークンがその後の推論を拖拽（引きずり）ている場合、重みが低下し、誤った思考の蔓延を防ぐ。

エンジニアリング保証：訓練の不安定性を抑制する3つの防衛線

実際の訓練において、制約のないFuture-KLは分布の偏りによる分散を増幅し、勾配爆発や壊滅的な訓練崩壊を招きやすい。FIPOはこれに対し、3つの安定性メカニズム（Stability Mechanisms）を設計し、最適化の滑らかな進行を保証している。

極値フィルタリング（Extreme Value Filtering）：アルゴリズムは、極端な更新変動を持つトークンを明示的に除外する。これにより、有効な推論信号を変えずに、訓練における最も主要な不安定性の源を除去する。

ソフト減衰ウィンドウ（Soft Decay Window）：因果影響力の減衰効果をシミュレートするために、割引因子を革新的に導入する。このメカニズムは、モデルが局所的な論理的一貫性を優先的に重視し、遠い未来からの累積ノイズを滑らかにフィルタリングすることを促す。

影響力重みクリッピング（Influence Weight Clipping）：優勢乗数係数としての影響力重みを厳格に所定の安全範囲内に制限し、極端な確率シフトによる数値崩壊を完全に防止する。

実験結果：長さのボトルネックを突破し、精度の飛躍を実現

この方案の有効性を検証するため、チームは長文論理チェーン（Long-CoT）データに全く接触していないゼロベースのモデルQwen2.5-32B-Base上で評価を行った。

実験データは、FIPOが複雑な数学的推論の問題解決において画期的な進展を示していることを示しています：

長さの停滞を突破：従来のアルゴリズムでは推論の長さが約4,000トークンで停滞していましたが、FIPOの正の報酬（Positive Reward）により、平均推論長は10,000トークン以上へと引き上げられました。

精度のスケーリングを実現：実験により、推論長の増加と解答の正解率の間には強い正の相関があることが検証されました。つまり、長くなるのは無駄な言葉ではなく、真の深い思考なのです。

最も挑戦的なAIME 2024の数学ベンチマークテストにおいて、FIPOはベースラインであるDAPOアルゴリズムの50.0%という性能ボトルネックを成功裏に突破し、正解率を58.0%という新たな最高水準まで押し上げました。

これは、FIPOが32B（320億）パラメータという同等の規模であり、外部の長文思考連鎖（Chain-of-Thought）の事前知識を一切用いない「純粋強化学習（Pure RL）」の設定において、o1-miniの性能差を乗り越えた初のオープンソースソリューションであることを意味します。

さらに、監視指標もFIPOの訓練プロセスが健全であることを裏付けています。滑らかに上昇するポリシーKLダイバージェンス（Policy KL）、常に低水準に保たれた勾配ノルム（Gradient Norm）、そして探索を維持するエントロピー（Entropy）は、モデルが機械的な局所最適解への適合に陥るのではなく、安定して推論空間を拡張していることを示しています。

方向性が正しければ、推論連鎖が長くなるほど精度は高まります。その背後にある鍵は、FIPOの細粒度な信用配分（Credit Assignment）メカニズムにあります。これにより、推論能力の継続的な拡張が可能になっています。

💬 今日のインタラクション

大規模言語モデルの「Oops Moment（うっかりミス）」を経験したことはありますか？正しい答えにたどり着いたはずなのに、自分自身を混乱させてしまったケースなどがありましたら、コメント欄でぜひ共有してください👇（抽選でカスタムグッズをプレゼント）

おすすめ記事

Wan2.7-Videoは、創造の自由のためにやってきた

Wan2.7-Image：人物はよりリアルに、文字はより安定し、色はより正確に

WeChatで開いてジャンプ