Meta FAIR、GPU使用前にML実験を評価する「AI研究選好モデル」を導入

AI 研究エージェントは、すでに機械学習実験の提案、実装、評価を自身で行うことができます。アイデア生成は安価ですが、検証にはコストがかかります。候補モデル 1 つのトレーニングに数時間から数日もの GPU 時間を要するため、エージェントが提案する候補数は、実際に実行できる数を遥かに超えてしまいます。研究の進捗を左右する真のレバーは、どの候補を実行するかという選択にあります。

Meta の FAIR（Fundamental AI Research）、オックスフォード大学、ロンドン大学ユニヴァーシティ・カレッジからなる研究チームは、この選択を「研究選好」として定式化し、「AI 研究選好モデル（RPMs）」を導入しました。RPM は未実行の候補に順位付けを行い、1 つを実行するものを選びます。チームの研究では、絶対的なスコアを予測することは言語モデルにとって信頼性が低いため、RPM はそれを試みないことが明らかになっています。

実用性はどうかというと、部分的には可能です。RPM は微調整を行わない凍結された事前学習済み LLM を使用し、その基盤となる AIRA-dojo とベンチマーク AIRS-Bench はオープンソースです。また、バックボーンとして採用されている Qwen3.6-27B もオープンウェイトとなっています。

エージェントループにおける RPM の位置づけ

AIRA-dojo は進化的ツリー探索を採用しています。これは、貪欲な親ノード選択と、「草案作成/改善/デバッグ」の演算子を組み合わせたものであり、最終的には検証スコアが最も高いノードを返します。RPM が介入するのは子ノード生成の段階のみです。1 つの子ノードを生成して実行するのではなく、エージェントは演算子を並列で 15 回適用し、15 の未実行候補を生成します。その後、これらをノックアウト形式のトーナメントで比較し、勝者だけを執行します。各比較は、探索されたツリーの BFS（幅優先探索）ウォークによって収集された文脈ノードに基づいており、それぞれの検証スコアも併せて提示されます。

2 つのバリアントと計算リソース

推論専用 RPM：候補となる計画、コード、検索履歴を LLM が評価者として判断します。このプロンプトは DSPy の MIPROv2 を用いて最適化され、修正可能なバグには寛容で、拡張性を高く評価し、重複する方向性にはペナルティを与える研究責任者の評価基準に収束しました。オフラインでの精度は 57.7% から 59.0% に向上しています。

エージェント型 RPM：同じく LLM を評価者とし、エージェントの環境をクローンしたサンドボックス（H200 グラフィックプロセッサが 1 基）を備えています。利用可能なツールは Python、Bash、および submit_solution です。小規模なパイロット実験を実行した後、フィードバックモデルが最も情報量の多い次の実験を提案するか、ループを終了させるかを判断します。設計上の重要な選択が 2 つあります。まず、エージェントが早期に停止しないよう、残りの計算リソースを意図的に過大評価（実際は 300 秒に対し報告値は 2,700 秒）している点です。次に、パイロット実験の回数を 30 回までとし、60 秒という閾値を設定しています。パイロット実験の時間はエージェント自身のタイマーと競合するため、エージェント型セレクターが動作するのは「Draft（草案）」と「Improve（改善）」ステップのみで、「Debug（デバッグ）」ではランダム選択に戻ります。

AIRS-Bench における結果

設定：公開されているテキストおよび表形式のタスク 20 件を評価。各タスクあたり H200 グラフィックプロセッサ 1 基を 24 時間使用し、シード数は 10 です。オペレーターと RPM の両方のバックボーンには Qwen3.6-27B を採用しました。これにより、得られた性能向上は評価者自体の強化ではなく、選択層によるものと言えます。

子候補の選択結果（正規化スコアの平均）

No RPM（ランダム選択）：0.684

推論専用 RPM：0.711

エージェント型 RPM：0.729

検証オラクル（上限値）：0.748

テストオラクル（上限値）：0.759

No-RPM に対する改善確率は、それぞれ 0.5923 と 0.5913 です。95% の信頼区間の下限は 0.5066 と 0.5018 となります。

効率化という実用的な成果が得られました。推論のみを行うアプローチでは、14.88 時間でベースラインの最終スコア 0.684 に到達し（1.61 倍）、エージェント型アプローチでも 15.50 時間（1.55 倍）で達成しています。セルフホスト型の推論は実行ごとに 0.660 時間の追加コストがかかりますが、これを調整しても 23.34 時間で 0.708 のスコアを記録できます。

新たに報告された SOTA（State-of-the-Art）結果として、WinoGrande でエージェント型 RPM を用いて 94.1% を達成しました。これは AIRA₂ が持つ従来のエージェント型 SOTA である 90.4% を上回るものです。また、推論のみアプローチでは SVAMP で 95.7% を記録し、これも従来の人間による SOTA である 94.2% を更新しています。

主なポイント

• RPM は未実行の候補をランキング化するため、AI リサーチエージェントは最も有望な候補のみを実行します。
• 2 つの凍結された LLM（大規模言語モデル）バリアントが存在します。1 つは推論のみのジャッジ、もう 1 つは短いパイロット実験を実行するエージェント型ジャッジです。
• AIRS-Bench における平均正規化スコアは、0.684 から 0.711 および 0.729 に向上しました。

両方のアプローチとも、ベースラインの 24 時間スコアを約 15 時間で達成しており、これは 1.5〜1.6 倍の高速化となります。また、WinoGrande（94.1%）と SVAMP（95.7%）で新たな SOTA を記録しました。

本記事「Meta FAIR が AI 研究用選好モデル（RPM）を発表：GPU 時間を費やす前に ML 実験をランキング化」は、MarkTechPost に掲載されました。