Hugging Face ジャーナルクラブ AI 科学者育成し研究再現へ

AI が論文の図表を隠されても再現できるか？「Faraday」が示す科学者育成の可能性と課題

Inherent 社が開発した AI エージェント「Faraday」は、ML 論文から図表を隠された状態で結果を再現するタスクに特化し、大規模モデルを上回る性能を示しました。この研究は、AI が自律的に科学的研究を再現・検証する未来像を描くと同時に、評価手法の公平性や計算リソースといった実用化への課題も浮き彫りにしています。

図表を隠された論文から結果を再現する「Faraday」

Faraday は、Inherent 社が科学的研究の再現（replication）に特化して訓練した AI エージェントです。実験では、過去 30 年間に発表された約 100 の ML 論文から特定の図表を削除し、モデルに対して「この欠落した図表を再現せよ」というタスクを与えます。

Faraday は Python や PyTorch などのツールに加え、外部コード実行環境である CodeX を活用します。単に推論するだけでなく、GPU のスライス（一部のリソース）を割り当てられ、実際にコードを実行して結果を導き出そうとします。このアプローチにより、Claude や GPT-5 といったより巨大なモデルさえ凌駕する性能を発揮することが確認されました。

「Faraday は CodeX を外部ツールとして活用することで、大規模モデルを上回る性能を実現した。これは論文の中で最も興味深いアイデアの一つだ。」

強化学習と CodeX の統合で「AI 科学者」を育成

Faraday の基盤となっているのは Quen 27B という比較的小さなモデルですが、強化学習（RL）と CodeX ツールの組み合わせにより、その能力が劇的に向上しました。訓練には GPO（Generalized Policy Optimization）と LoRA が用いられ、コンテキストの長さも十分に確保されています。

特に注目すべきは、報酬の与え方です。従来のようにロールアウト全体に均等に報酬を割り当てるのではなく、エージェントが取った各ステップ（ターン）に対して、生成されたルブリックに基づいて重み付けを行います。この結果、報酬はプロセスの中盤や初期段階に集中し、CodeX を適切に使用した行動に対してより高い評価が与えられるようになります。

「通常は長いロールアウト全体に均等な報酬を割り当てますが、Faraday は各ステップにルブリックに基づく重みを分配します。これにより、モデルは CodeX の活用を促され、望ましい振る舞いを学習できます。」

また、評価の安定性を高めるため、1 つのタスクに対して 8 回のロールアウトを行い、それぞれで 3 回ずつ判定（judgment）を行って平均値を採用しています。これにより、単一の判定結果に依存した「報酬ハッキング」を防ぎ、モデルの学習を安定させています。

LLM が生成する詳細なルブリックによる評価

Faraday の評価プロセスでは、単純な正誤判定ではなく、LLM によって生成された詳細なルブリック（評価基準）が採用されています。Claude を用いて論文から評価基準を作成し、それを CodeX に渡して審査を行います。

このルブリックは非常に細かく設定されており、「図表の正確さ」「推論の妥当性」「コードの正しさ」など、各項目に 1 点ずつ与えられる仕組みです。これにより、モデルが単に結果を当てはめるだけでなく、プロセス全体を質の高いものにするよう指導されます。

「単純な正誤判定ではなく、LLM が生成した詳細なルブリックを用いて多段階で評価します。これにより、報酬ハッキングを防ぎつつ、より本質的な再現能力を測ることができます。」

公平性への疑問と計算リソースの壁

しかし、この研究にはいくつかの課題点も指摘されています。まず、評価の公平性に関する懸念です。Faraday は CodeX をツールとして活用していますが、比較対象である CodeX 単体や Claude のプロンプト設定に非対称性があるとの指摘があります。

また、判定モデル（Judge）として同じファミリーの LLM を使用している点も議論を呼びます。通常、異なる種類のモデルを組み合わせて評価することで分散を減らす手法が推奨されますが、Faraday ではその点で工夫が不足している可能性があります。

計算リソースについても課題があります。新しい論文ほど再現が難しくなっており、これは学習データに含まれる情報の少なさや、より多くの計算資源が必要であることが原因と考えられます。Faraday は 1 時間の GPU スライス制限の中で動作していますが、8 時間と 8 台の B300 GPU を割り当てた場合でも一般化できる可能性は示されています。

「新しい論文ほど再現が難しいのは、計算リソースの不足や学習データの偏りが原因かもしれません。しかし、十分なリソースを与えれば、Faraday は依然として機能することが示唆されています。」

まとめ

Faraday の研究は、AI エージェントが科学的研究を自律的に再現・検証する可能性を示す画期的な一歩です。強化学習とツール統合の組み合わせにより、小規模モデルでも大規模モデルに勝る性能を発揮できることを証明しました。一方で、評価手法の公平性や計算リソースの制約といった課題も浮き彫りにしており、今後の実用化に向けた技術的ハードルを明確にしています。