動画 MLLM の学習効率化「OraRL」、アノテーションをロールアウトとして活用

記事の3ポイント

1. 1

   OraRL の核心技術

   既存手法の課題である「アドバンテージ逆転」を防ぐために、ポリシーロールアウトとオラクル・ポリシーギャップを分離する減衰型アドバンテージ推定器を採用した。

2. 2

   計算効率の劇的向上

   思考連鎖（CoT）を不要とし、SFT の 2.2 倍のステップ時間で動作し、GRPO と比較して半分の計算リソースで済むことを実証した。

3. 3

   大規模モデルでのスケーラビリティ

   0.8B から 9B モデルへの拡張に成功し、10 万プロンプト規模のデータでも性能が向上することを示した。