Google AI、エージェント学習環境を動的に変化させる「EnvHarness」を発表

Google Cloud AI Research、ワシントン大学セントルイス校、ノースカロライナ大学チャペルヒル校の研究者チームが、EnvHarness を公開しました。これは静的なエージェントベンチマークを、その上で学習するポリシーに適応する環境へと変換するプログラム可能なレイヤーです。

現在、LLM エージェントは curated なテキストからではなく、インタラクティブな環境からより多くを学んでいます。しかし、これらの環境は手作業で構築され、固定化されています。どのエージェントが行動するか、あるいはその能力がどれだけ向上したかに関わらず、環境の挙動は常に同一です。

一般的な解決策は新しい環境を生成することですが、これではドメイン固有のパイプラインや LLM が記述する検証器に依存せざるを得なくなります。検証器は過剰に生成され、フィルタリングされる必要があります。

EnvHarness はこのアプローチを逆転させます。既存の環境を、標準的な reset() / step() インターフェースを通じてのみ動作するプラグインコンポーネントでラップします。これにより、エピソードの開始地点やエージェントが可能な行動、そして視覚情報を変更できます。一方、基盤となるシミュレーター、タスク、人間が構築した検証器はそのまま untouched のままです。

EnvRigger と呼ばれる LLM デザイナーが、ポリシーのロールアウトで診断された欠陥に基づいて、これらのラッパーを自動的に記述します。

4 つのドメインにわたる 5 つのベンチマークにおいて、この方法で獲得したスキルは、未学習タスクで最大 9.0 ポイント向上し、実行ステップ数は 9.8% 削減されました。

エージェント評価ループを実行している場合、EnvHarness は Apache-2.0 ライセンスの Python パッケージとして提供されます。6 つの環境に対応する再現用ドライバーも同梱されており、ベンチマークへの参加には「reset / step / observe / evaluate / get_env_state / save_state / from_state」という単一のインターフェースを実装すれば済みます。下流のシステムに変更を加える必要はありません。

ただし、実装上の重要な前提条件として、環境がリセット可能である必要があります。この要件により、リアルタイムのユーザーアカウントや物理ロボットを扱う環境は対象外となります。

imagehttps://arxiv.org/pdf/2608.19880

学習の機会を奪う静的な環境

現在、LLM エージェントは手書きで整備されたテキストデータから学ぶだけでなく、インタラクティブな環境を通じて学習するようになっています。しかし、これらの環境は人間が手作業で作成したものが多く、静的な性質を持っています。エージェントが誰であれ、あるいはその能力がどれだけ向上しようとも、環境の挙動は一定のままです。そのため、特定のポリシーの弱点を突いて指導することができず、一度解決されてしまうとそれ以上教えるべきことが残っていません。

一般的には「より多くの環境を生成すればよい」という答えが出されますが、EnvHarness の論文ではこれに伴う2つの大きなコストが指摘されています。第一に、生成パイプラインは特定のドメイン固有のものであり、他の領域へ転用できません。第二に、LLM が記述した検証器（verifier）は過剰に生成して厳しくフィルタリングする必要がありますが、それでも完全に信頼できるものにはなり得ません。

環境の再構築ではなく、ラッピングによる拡張

研究チームはこれとは逆のアプローチを提案しています。エージェントハネスは、固定された LLM にプラグインツール、メモリ、スキルを組み込むことで能力を引き出すものです。EnvHarness はこの考え方をループの反対側に応用し、標準的な reset() / step() インターフェースを通じて厳密に動作するコンポーネントで、凍結された環境をラップします。

Performance

ALFWorld、WebArena、SWE-bench Verified、OfficeQA、SpreadsheetBench の各ベンチマークにおいて、ReasoningBank スタイルの推論を用いて獲得したスキルは、未見の保留タスクにおいて両方の制御群を上回りました。

ALFWorld では、元の環境で学習したスキルに対する平均スコアが 62.4 から 68.3 に向上し、分布外（OOD）スプリットでは +9.0 ポイントの改善が見られました。SWE-bench Verified の解決率は 49.88% から 52.58% に上昇し、平均ステップ数は 55.01 から 49.61 に減少しました。これは論文で主張されている 9.8% の効率化に相当します。一方、SpreadsheetBench と WebArena では、変更のない環境から得たスキルは「スキルなし」のベースラインを下回る結果となりました。つまり、環境を再設計（reshaping）することが、スキル獲得の価値を生む要因です。ドメイン固有の生成器と比較すると、EnvHarness は SWE-smith を 2.46 ポイント上回り、ステップ数は 5.11 少ないという結果でした。

Qwen3-8B-base をベースとした GRPO（Generalized Reward Policy Optimization）による強化学習では、再設計された環境での学習が元の環境での学習よりも 4 つの指標のうち 3 つで上回りました。具体的には、ALFWorld の分布内（in-distribution）スコアが 81.4 から 87.9 に向上しています。ただし、OOD スプリットではわずかに低下し、89.6 から 88.8 となりました。環境のスケールアップにおいては、300 個の環境を扱う場合、EnvHarness は 54.79 のスコアを達成しました。これは元の環境（52.13）や生成された環境（50.37）を上回る結果です。これは、設計者が現在のポリシーに対して各バッチを共進化させることで実現されています。また、タスクごとの成功率を [0.4, 0.6] の範囲に制御するよう指示した際、インバンドカバレッジは 6% から 80% に大幅に向上しました。

Key Takeaways

EnvHarness は、reset() と step() メソッドのみを通じて凍結された環境をラップします。これにより、検証プロセスは人間が構築したまま維持されます。

3 つの主要コンポーネントである Stage（開始状態）、Contract（相互作用ルール）、Chain（エピソード構成）が、エージェントの動作範囲を網羅しています。

EnvRigger はロールアウトからポリシーの欠陥を診断し、ターゲットを絞ったラッパーを記述します。その後、新しいロールアウトで検証を行います。

5 つのベンチマークで成果を維持：ALFWorld の OOD で +9.0 ポイント、SWE-bench Verified ではステップ数が 9.8% 減少。

Apache-2.0 ライセンスのコードは公開済みですが、その代償としてデザイナートークンのコストと、リセット可能な環境への必須要件があります。

この記事は MarkTechPost に掲載されたものです。