検証可能な領域を超えた強化学習（8 分読了）

*私はタナヤ・ジャイプーリアです。[Wing](https://www.wing.vc/) のパートナーであり、テクノロジー業界のビジネスに関する週刊ニュースレターを発信しています。タナヤのニュースレターをあなたのメールボックスで受け取りたい方は、こちらから無料で購読してください：* こんにちは、友人たち。 [Dwarkesh](https://www.dwarkesh.com/p/dario-amodei-2) 氏とのポッドキャストにおいて、Anthropic の CEO であるダリオ・アモダイ氏は、10 年以内に「データセンター内に天才の国」が誕生すると 90% の確信を持っていると語りました。そして、残りの 10% の不確実性について説明する際、彼の最大の懸念は一つの事実に集約されます。それは検証不可能なタスクです： ***コーディングについては、その不可避的な不確実性を除けば、1〜2 年後には到達していると思います。エンドツーエンドのコーディング能力において、10 年以内に到達しないという可能性はあり得ません。私が長期的な時間軸においても抱く根本的な不確実性の一部は、検証不可能なタスクに関するものです：火星へのミッション計画；CRISPR（クリスパー）のような基礎科学の発見；小説の執筆。それらのタスクを検証するのは困難です**。 それが今日の議論の主題となります。本稿では以下を取り上げます： - 検証可能性が制約となる理由 - 現在機能している技術 - この問題に取り組む企業たち 過去一年間の進歩の大きな理由は、検証可能な報酬を用いた強化学習、すなわち RLVR（Verifiable Rewards を用いた強化学習）です。その考え方は単純です。答えを検査・検証できる問題をモデルに与え、解決策に至るまでの推論を促し、正しい結果に至った試行を強化するのです。 数学とコードは完璧な組み合わせであり、私たちはその対応する進歩を目にしてきました。報酬は明確で安価であり、数百万回実行することも可能です。SWE-bench における進展が示すように、ヒルクライミング（勾配上昇法）による実質的な成果も確かに存在します。2025 年には [OpenAI](https://arxiv.org/abs/2502.06807) と [Google DeepMind](https://deepmind.google/blog/advanced-version-of-gemini-with-deep-think-officially-achieves-gold-medal-standard-at-the-international-mathematical-olympiad/) の両方が、国際数学オリンピックで金メダルレベルを達成し、強力な学部生でも手がつけられないような問題においてそれぞれ 42 問中 35 点というスコアを記録しました。 [Jason Wei](https://www.jasonwei.net/blog/asymmetry-of-verification-and-verifiers-law)（当時 OpenAI に所属）はこれを「検証者の法則」としてまとめました。つまり、AI をあるタスクに訓練する難易度は、そのタスクがどれだけ検証可能かという点におおむね比例します。迅速かつ客観的に確認できるものであれば、それが機能するまで強化学習（RL: Reinforcement Learning）で延々と試行錯誤を繰り返すことができます。 しかし、課題は、最も価値ある作業の多くは必ずしも容易に検証可能ではないという点にあります。優れたメモやデザインにはテストスイートが存在せず、ましてやビジネス構築のように、長期の時間軸と現実世界からのフィードバックを必要とするようなことについてはなおさらです。 したがって、「検証不可能な領域」におけるゲーム全体は、一つの問いに帰着します。答えを容易に確認できない場合、報酬はどこから来るのでしょうか？ この問題自体は新しいものではありません。RLHF（Human Feedback を用いた強化学習）と [Constitutional AI](https://arxiv.org/abs/2212.08073) は、どちらも本質的には「チェックする者がいない場合にどうするか」という問いに対する答えです。 RLHF は、人間の嗜好（どちらの回答が優れているか）に基づいて別個の報酬モデルを訓練し、そのモデルに対して高いスコアを獲得するように最適化します。Anthropic がすべての Claude モデルで採用している Constitutional AI では、人間のフィードバックの多くが、書かれた原則によって導かれる AI フィードバックに置き換えられています。 これらはアライメント（整合性）の一形態として機能しますが、RLVR が数学やコードにおいて生み出したような主観的領域における能力の飛躍には至っておらず、むしろ能力向上よりもエンゲージメントの最適化を目的としているとさえ言えます。では、主観的領域に対してどのようにして検証者や報酬信号を得るのでしょうか？ 必ずしも容易に検証できないものを確認しようとするために、いくつかのアプローチが試みられています： **ルブリック（評価基準）を報酬として使用する。** Scale AI は [2025 年中盤](https://arxiv.org/abs/2507.17746) にこのテーマに関する論文を発表しました。各プロンプトに対して、インスタンス固有のルブリック、つまり良い回答が満たすべきチェックリストを生成します。これは通常、人間の専門家によって策定されます。LLM 判定者が各試行をチェックリストに基づいて評価し、そのスコアが報酬となります。 これは、検証が難しい回答の妥当性を確認するという問いを、より小さな Yes/No 形式やスコアリングに基づく複数の質問に分解することで機能します。審査員に対して「これが良いか」と尋ねてノイズの多い 1 から 10 の評価を得るのではなく、「X に言及しているか、Y を避けているか、Z を処理できているか」と問いかけ、それぞれの項目がほぼ検証可能になるようにします。HealthBench（医療分野のベンチマーク）では、単純な審査員によるスコアリングと比較して相対的に 31% の向上が報告されています [Scale 社ブログ](https://scale.com/blog/enterprise-rar)。OpenRubrics [arXiv:2510.07743] などの後続の研究は、現在これらのルーブリックを大規模に生成することに注力しています。これは、法律、医療、金融などのドメインにおける多くのデータプロバイダーが採用している一般的なアプローチです。 **生成型報酬モデル**。これは LLM-as-judge（LLM を審査員として用いる）のアプローチと似ています。ブラックボックス的な数値を出力するのではなく、まず推論を行い、その後に回答にスコアを付けます。 **プロセス報酬モデル**。これは最終回答だけでなく、推論の各ステップに対して評価を下すアプローチであり、より長い時間軸や検証が困難なタスクにおいては特に重要となります。 共通しているのは、プログラムでチェックャーを作成できない場合、最終出力または中間段階を比較するための多数のルーブリックを作成して近似したチェックャーとし、LLM や同様のモデルを用いてそれらに対して評価を下すという点です。 検証が難しいドメインにおいて RL（強化学習）を実現しようとするため、異なるアプローチを採用する企業はいくつか存在します。 **1. 検証器とデータをラボへ販売する。** 最初のグループの企業は、これらのドメインにおいてプログラム可能な検証器や強化学習（RL）環境を構築し、それをラボに販売しています。一般的なレシピは、専門家がタスクのための評価基準（ルブリック）を作成することです。各評価基準項目は、プログラムによってチェックできるほど具体的であり、曖昧な判断をスケーラブルにスコアリング可能なものに変換します。[Mercor](https://mercor.com/)、Surge、Micro1 などがこれを行っており、医療、法務、金融などの分野でルブリックベースのアプローチを採用しています。また [Taste Labs](https://tastelabs.com/) は、検証が難しいデザインや「味覚」といったより主観的な領域に明確に取り組んでいます。彼らは、すべての人の嗜好を平均化すると「味覚」そのものが失われてしまうため、RLHF（人間フィードバックによる強化学習）が行き詰まると明確に述べています。 **2. ドメインを形式化する。** もう一つのアプローチは、ある程度曖昧な領域を取り上げ、機械が即座にチェックできる形に変換し、その垂直分野で最終ソリューションを販売することです。数学の分野ではすでにこれが機能しています：Lean などの形式言語で記述された証明書は自己検証を行うため、DeepMind の AlphaProof などのシステムは人間の介入なしに報酬を得ることができます。 [Pramaana Labs](https://pramaanalabs.ai/) は、このアイデアをより複雑でリスクの高い作業へと拡張しており、税務、法務、医療といった規制された分野での回答を証明可能にするために形式検証（formal verification）を利用しています。あなたが管理下に置けるドメインが一つ増えるごとに、「検証不可能」なカテゴリーは一つ減っていきます。 **3. ループ全体を支配する。** もう一つの企業群は、答えの検証が困難だが、コンピュータ上ではなく何らかの方法で可能となるドメインに焦点を当てています。新しい材料や医薬品をチェックリストや証明式で確認することはできません。実験を実行する必要があります。そのため、これらの企業はループ全体を自前で支配しています。AI が提案し、物理的なラボが検証し、その結果が報酬となります。 元 OpenAI や DeepMind の研究者らが設立した [Periodic Labs](https://periodic.com/) は、新素材発見のためにロボットラボを運用しています。DeepMind の医薬品発見部門から分社化した [Isomorphic Labs](https://www.isomorphiclabs.com/) は、その予測を実験室および最終的には臨床現場の現実に基づいています。[Lila Sciences](https://www.lila.ai/) は、生命科学と材料科学の分野にまたがる自律型ラボを構築中です。ここで重要なのは、これらのシステムの検証が現実世界で行われるため、時間がかかり高コストになる可能性がある一方で、ループ全体を自前で支配することで報酬を物理的な現実に根付かせることができる点です。 検証可能な領域における RL は明らかに機能していますが、次の大きな飛躍は、同じような進展を経済の他の分野にもたらすアプローチや企業から生まれるでしょう。そこでは検証がより困難となります。現在の RLVR（Reinforcement Learning with Verifiable Rewards）のアプローチがどこまで一般化できるか、それとも新たなブレイクスルーが必要なのかという点は、大きな未解決課題の一つです。これらの領域で構築を進めている方は、ぜひお話ししましょう！

検証可能な領域を超えた強化学習（8 分読了）

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト