研究計画生成に評価基準を適用する AI 学習フレームワーク PaperGym

研究計画立案は、AI 科学者にとって決定的な能力です。しかし、研究計画には検証可能な正解が存在しないため、強化学習に必要な「タスクと批評家（クリティック）のペア」という環境が欠けています。科学論文から抽出した評価基準（ルブリック）が、この批評家の役割を果たします。

既存のパイプラインでは、質問と評価基準を同じコンテンツから引き出しているため、単なる言い換えで報酬を獲得できてしまうという問題があります。さらに、評価基準は各ロールアウトごとに単一のスカラー値に圧縮されてしまいます。そこで我々は、PaperGym を導入しました。これは各研究論文を完全なトレーニング環境へと変換する統合フレームワークです。

PaperGym は論文の構造を活用します。質問は研究目標と背景から合成され、評価基準は手法と実験結果から導き出されます。評価基準には方法論的革新性と実験設計が含まれ、その結果、既存データセットで見られる 11.90% から 34.10% の「基準の漏洩（クリテリア・リーケージ）」が PaperGym では 3.7% にまで抑制されました。

トレーニングでは、このルブリックを二重に活用します。まず、OPSD の自己教師（self-teacher）に対して特権的な文脈として提供し、次に GRPO に対する報酬として使用します。Qwen3-1.7B/4B/8B における実験では、この学習スケジュールが教師あり微調整や各工程単独、あるいは順序を逆にした場合よりも優れた結果を示しました。5 つのベンチマーク平均でそれぞれ +5.6、+5.0、+4.8 ポイント向上しています。

レシピ（学習手順）は固定したまま、PaperGym-20k で訓練されたモデルは、3 者比較において 58.1% の勝率を記録しました。対照的に、RubricHub Science で訓練されたモデルの勝率は 28.2% でした。さらに、訓練済みの Qwen3-8B は ResearchQA で 73.48 というスコアを達成し、はるかに大規模な Kimi K2.6 を上回りました。

本研究では、パイプラインと、20,000件の事例からなるコーパス「PaperGym-20k」、さらにベンチマークとして「PaperGym-Innov」と「PaperGym-Design」を公開します。