継続学習の拡張へ：ロナク・マルデ氏、Trajectory

ベンチマーク飽和の時代を越える：Ronak Malde氏が提唱する「真の継続学習」への道

現在のAI進化は、ベンチマークの飽和と膨大な計算コストという壁に直面しています。DeepMindでのM&A経験を持つRonak Malde氏は、現実世界のデータに基づいた「継続学習（Continual Learning）」への転換を急務とし、既存手法の限界を打破する新アルゴリズム「OPSD」を提案します。

ベンチマーク依存からの脱却とコストの壁

過去数年間、AI業界はベンチマークスコアの向上に注力してきました。しかし、このアプローチには明確な限界が見えています。多くのドメインでベンチマークのスコアが飽和し、さらなる向上には数時間から数日という膨大な時間を要するようになっています。

「私たちは毎日、何兆トークンもの推論（インファレンス）を行っていますが、その過程でモデルが現実世界でどのように失敗し、どのように成功しているかというデータが大量に生成されています。この信号こそが、学習すべき真の素材です。」

現在の主流である「オフライン評価」や「ベンチマーク依存」は、人間がリアルタイムでノイズや多様性の中で学び続ける姿とは対照的です。AI業界全体が「継続学習」の重要性を認識し始めていますが、なぜまだ実現できていないのか。その理由には、既存アルゴリズムに根本的な欠陥があるからです。

既存手法（SFT, RLHF, GRPO）の限界

AIの学習プロセスは、Supervised Fine-Tuning (SFT) から Reinforcement Learning from Human Feedback (RLHF)、そして現在の主流である Generalized Reward Policy Optimization (GRPO) へと進化してきましたが、それぞれに課題が残っています。

• SFT（教師あり微調整）: 並列処理は容易でトークン単位のフィードバックが可能ですが、サンプリングがオンポリシーではなく、タスク分布も人工的なベンチマークに依存しています。
• RLHF: オンラインでのタスク分布を扱えるようになりましたが、依然としてオフポリシーであり、報酬がシーケンス全体（1つのスコア）に集約されるため、詳細な学習信号が失われています。
• GRPO: オンポリシーサンプリングが可能になり、モデルの成長を促す強力な手法ですが、並列ロールアウト（複数の試行を同時に行うこと）が必要となり、インフラ要件が爆発的に増大します。また、報酬も依然としてシーケンスレベルに限定されています。

「GRPOはオンポリシー学習を実現しましたが、タスク分布は依然としてオフラインのベンチマークに依存しており、並列ロールアウトのために巨大なインフラが必要になります。さらに、報酬を1つのスカラー値に圧縮して学習させている点も、現実世界の複雑さを捉える上でボトルネックとなっています。」

新手法「OPSD」：オンポリシー自己蒸留の威力

Ronak Malde氏が提案するOn-Policy Self-Distillation (OPSD) は、これらの課題を同時に解決する画期的なアプローチです。この手法は、従来の教師モデルと生徒モデルの関係性を再定義し、「自己蒸留」という概念をオンポリシー学習に適用します。

仕組み：ヒント付きの「先生」による指導

通常、知識蒸留では「より賢い先生モデル」が「生徒モデル」の出力を模倣させます。しかし、最前線のAIにおいて、自分よりも賢い外部の先生が存在しないのが現実です。OPSDはこのジレンマを、「ヒント（Privileged Information）」という形で解決します。

1. ヒントの付与: 生徒モデルに問題を解かせる際、その問題に対する「正解への道筋」や「環境情報」といったヒントをプロンプトの一部として追加します。これにより、生徒モデルは仮想的に「より賢い状態（先生）」になります。
2. 分布の一致: この「ヒントありの状態」での生徒モデルの出力（対数確率）と、「ヒントなしの元の状態」での生徒モデルの出力を比較・調整します。

「ヒント付きのプロンプトで解くことで、モデルは仮に正解を知っているかのような状態になります。この『先生』としての振る舞いを、本来の『生徒』の状態に学習させるのがOPSDです。」

従来のRLとの決定的な違い

OPSDには、従来の強化学習（RL）やGRPOにはない3つの大きな利点があります。

1. 並列ロールアウトが不要: 複数の試行を並列に行う必要がありません。単一の例からでも学習信号を得られるため、環境の複製や大規模インフラが不要になります。
2. トークンレベルの詳細フィードバック: 報酬がシーケンス全体の1つのスコアではなく、すべてのトークンに対して個別に与えられます。これにより、モデルは「どの単語を選ぶべきか」という微細な判断を改善できます。
3. 分布のシフト: RLが既存の分布をわずかに鋭くするだけなのに対し、OPSDはモデルの出力分布そのものを大きくシフトさせます。例えば、Pythonコード生成において、モデルが誤ったループ構文を選んだ場合、正解となるトークンへの確率を強制的に高めることで、学習効率を劇的に向上させます。

大規模化における課題と今後の展望

OPSDは短距離タスク（ショートホライズン）において極めて高い効果を発揮し、Live CodebenchなどのベンチマークではGRPOが頭打ちになる領域でも新たな成果を出しています。また、推論に必要なトークン数が劇的に減少する点も、コスト削減に寄与します。

しかし、この手法が万能であるわけではありません。120B（1200億）パラメータを超える大規模モデルや、複雑なツール呼び出しを伴うタスクでは、評価精度のばらつきやフォーマット違反エラーが発生し、アルゴリズムの拡張性に限界が見えています。

「OPSDは短距離タスクでは即座にプラグアンドプレイで使えますが、大規模化における評価の安定性や、複雑な環境でのエラー処理については、まだ完全な解決には至っていません。」

結論：ソフトウェアが使い続けるほど賢くなる未来へ

Ronak Malde氏が率いるTrajectoryが目指すのは、単なるアルゴリズムの改良ではありません。実運用データを継続的に学習ループに取り込み、「ソフトウェアが使用されるたびに賢くなる」真の継続学習プラットフォームの実装です。

ベンチマーク飽和とコスト増という現在の壁を突破するには、オフラインの評価から脱却し、現実世界のノイズや多様性を内包したデータでモデルを育てる必要があります。OPSDはそのための重要な技術的基盤となり得ますが、大規模システムでの安定性確保にはさらなる検証が必要です。AI開発のパラダイムが「ベンチマーク競争」から「実世界での継続進化」へと移行するその瞬間まで、私たちはまだ道半ばにあるのです。