RL から IRL へ：アマゾン AGI ラボのガウラヴ・ミシュラ氏

RL から IRL へ：アマゾン AGI ラボが明かす、AI エージェントの「現実世界」への壁と突破法

強化学習（RL）で訓練された AI エージェントは、ゲームやコード生成のような明確なルールがある世界では驚異的な成果を上げてきました。しかし、ガウラヴ・ミシュラ氏（アマゾン AGI ラボ）が指摘するように、その成功体験は「現実世界」への展開において根本的な限界にぶつかるのです。

RL は「ゲーム」で通用しますが、IRL（In Real Life：現実世界）では「ゲームが反撃してきます」。このギャップを埋めるためには、単なる試験ではなく、現実の複雑さを模倣した「飛行訓練学校」のような高忠実度シミュレーションでの訓練が必要だとミシュラ氏は主張します。

RL の成功と、現実世界への転換における壁

強化学習（RL）は、正解が一つではないタスクや、推論が重要な領域において、従来の教師あり学習（SFT）よりも優れた結果を出してきました。特にコード生成においては、実行可能な環境で報酬を計算できるため、非常に強力なエージェントを生み出しています。

この成功を受けて、AI エージェントは「メールの作成」「Web 検索」「領収書の提出」など、コーディング以外のタスクにも応用され始めています。これらはすべて API や MCP（Model Context Protocol）を通じてコードとして表現できるため、理論上は可能だからです。

しかし、ミシュラ氏はこう指摘します。「現実世界では、報酬関数がログイン画面とぶつかる瞬間に、システムは壊れます」。

実際のデモでは、以下のような致命的な失敗が頻発しています。

「認証切れの警告が出た際、エージェントはパスワードを推測して入力し続け、最終的にアカウントをロックされてしまいました。また、広告のボタンと本物の送信ボタンが似ているため、誤って別のサイトへ遷移し、個人情報を誤って入力しようとしたケースもあります。」

ゲームのような明確な環境では通用する RL が、現実世界（IRL）で失敗する理由は、単なるバグではありません。現実世界の特性そのものが、RL の前提を崩壊させているからです。

現実世界が AI エージェントに課す 5 つの障壁

ミシュラ氏は、AI エージェントが実社会で動作する際に直面する主な課題として、以下の 5 つを挙げています。

1. 部分観測性（Partial Observability）

エージェントは画面のスナップショットや DOM（ドキュメントオブジェクトモデル）情報に依存しますが、これらは完全ではありません。動的に生成されるコンテンツや、画像として埋め込まれた広告情報は DOM から取得できず、スクリーンショットもスクロールが必要な領域では不完全です。AI は「どの情報を信頼すべきか」を判断する基準を持っていません。

2. 不可逆性（Irreversibility）

現実世界では、一度送信したフォームや削除されたファイル、ロックされたアカウントは、簡単には元に戻せません。「間違えた」という事実が、即座に致命的な結果（個人情報漏洩や業務停止）につながります。

3. 非決定的性（Non-determinism）

ボタンをクリックしても、すぐに反応するとは限りません。ネットワークの遅延、サーバーのアップグレードによる再起動、予期せぬローディング時間など、同じ操作でも結果が安定しないことが日常茶飯事です。

4. 一時的権限（Ephemeral Authority）

セッションの有効期限切れや認証情報の失効は極めて一般的です。エージェントは「ログインが必要だ」という状況に対処し、適切な手順で再認証を行う能力を備えていなければなりません。

5. 曖昧な成功定義（Ambiguous Success）

タスクが完了したように見えても、それが望ましい結果とは限りません。「経費精算は完了したが、同時に CEO への辞表も送信してしまった」といったケースが典型的です。行動の「完了」が、意図した「成功」を意味しないのです。

「飛行訓練学校」のアプローチ：高忠実度シミュレーションで失敗から学ぶ

これらの課題に対処するため、ミシュラ氏が提唱するのは「試験（Exam）」ではなく「飛行訓練学校（Flight School）」というパラダイムです。パイロットが実際の空域で事故を起こす前に、あらゆる気象条件や機体故障を模したシミュレーターで訓練するように、AI エージェントも現実のノイズやエッジケースに晒される必要があります。

高忠実度デジタルサンドボックスの構築

単なる理想環境ではなく、レイアウトの崩れ、遅い読み込み、ラベルの欠落、ポップアップ広告、フォーカスを奪う動作、無作為なアカウント状態など、「現実の荒廃」を模倣した環境で訓練します。これにより、エージェントは失敗のパターンを事前に学習し、本番環境でのリスクを最小化できます。

エラーからの回復（Recovery）をネイティブ行動として学習させる

従来の RL ではインフラエラーが発生すると状態をリセットしたり、モデルに再起動させたりしていました。しかし現実では「リセット」は不可能です。そのため、エージェントには「リフレッシュ」「バックトラック」「比較」「待機」「ユーザーへのエスカレーション」といった回復アクションをネイティブなツールとして習得させる必要があります。

過程報酬モデル（Process Reward Model）と信頼度の較正

成果だけでなく、そのプロセスが安全かどうかを評価する仕組みも重要です。危険な行動をとった段階でペナルティを与え、また「この操作は不可逆的だ」「ユーザーの承認が必要だ」といったリスクを認識し、適切なタイミングで人間に引き継ぐ（ハンドオフ）判断力を身につけさせます。

モデルとハッチ：能力と制御の再定義

訓練環境を整えるだけでなく、「パイロット（モデル）」と「コックピット（ハッチ）」自体の進化も不可欠です。

パイロット（モデル）の進化：画面を「見る」力を持つこと

コードを書く能力だけでは不十分です。人間が画面を見るように、情報の密度が高い UI から必要な情報を抽出し、意味を理解する能力が必要です。

• グラウンディング: レイアウトやテキストの位置関係を正確に把握する。
• セマンティック理解: 各要素の目的を理解し、タスクに必要な情報を見極める。
• 変化検知: アクション後の画面変化を捉え、それが望ましいものか、次のアクションを計画する。

コックピット（ハッチ）：安全装置としての制御層

モデルと現実世界の間に位置する「ハッチ」には、追加のガードレールを実装します。文脈管理やツールの実行を統括し、モデルが危険な行動をとろうとした際に物理的に阻止できる仕組みが必要です。

まとめ

AI エージェントを現実世界に展開するには、単なるモデル性能の向上だけでなく、「失敗から回復する力」と「リスクを認識して止まる知性」を訓練する必要があります。ミシュラ氏の提唱する「飛行訓練学校」のアプローチは、AI が安全かつ信頼性を持って社会インフラとして機能するための重要な指針となるでしょう。