動画 MLLM の学習効率化「OraRL」、アノテーションをロールアウトとして活用

マルチモーダル大規模言語モデル（MLLM）は、統合された動画知覚のための主流なパラダイムとなっています。しかし、大規模な多タスクデータセットに対するポストトレーニングは依然として課題が多く、既存の強化学習手法では、コストのかかる思考連鎖（CoT）生成を行っても、高品質なロールアウトが数少ないオンポリシーグループをサンプリングするに留まっています。

本論文では、動画 MLLM に対する RL ポストトレーニングのサンプル効率性とスケーラビリティを検討し、OraRL を提案します。我々は注釈（Annotations）に見落とされていた役割を発見しました。ロールアウトの評価を行うだけでなく、各注釈はオラクル・ロールアウトとしてオンポリシーグループに組み込まれ、直接的な正の最適化目標となり得るのです。

ただし、オラクルを直接統合するのは容易ではありません。報酬の高いオラクルがグループのベースラインを引き上げると、本来であれば正となる政策の利点が逆転してしまいます。この失敗現象を我々は「利点の逆転（advantage inversion）」と呼びます。

OraRL の核心は、分離された利点推定器にあります。ポリシー・ロールアウトがオラクルフリーなベースラインを決定し、オラクルとポリシーのギャップが方向性のある增益（gain）と、独立した離散化されたオラクル利点を調整します。

符号付きプルーニングにより効率性が向上します。各符号に対してオラクルと最も強力なロールアウトのみを保持することで、OraRL は SFT のステップ時間の 2.2 倍で済みます。これは CoT を用いた GRPO が要する 4.9 倍の半分未満です。

OraRL はモデルサイズとデータ量に応じてスケーリングし、バックボーンを 0.8B から 9B へ、GRPO を最大 10 万プロンプトまで拡張可能です。思考連鎖（CoT）なしで Video-ORA-9B を使用すると、デコード時間は 4,780 ms から 130 ms に短縮されます。

各分野における既存の最良モデルと比較して、時間的 mIoU は 62.5 から 66.0 に向上し、追跡 AO は 73.0 から 78.2、セグメンテーションは 64.3 から 70.4 とそれぞれ改善されました。また、3 つのベンチマークにおける空間知能のマクロ平均も 51.0 から 56.1 に引き上げられています。VSI-Bench では、GPT-5 の 55.0 や Gemini-3-Pro の 55.1 を上回る 73.1 のスコアを記録しました。