新論文：実用的なAIエージェントとは

大規模言語モデルの最もエキサイティングな応用の一部には、飛行機の予約やソフトウェアのバグを見つけて修正するなど、現実世界での行動をとるものが含まれます。このようなタスクを実行する AI システムは「エージェント」と呼ばれます。これらは LLM と他のソフトウェアを組み合わせ、ウェブ検索やコード端末などのツールを使用します。

この分野における北極星は、Siri や Alexa のようなアシスタントを構築し、実際に機能させることです——複雑なタスクを処理し、ユーザーの要求を正確に解釈し、信頼性を持って実行することです。しかし、これはまだ現実とはほど遠く、研究の方向性自体も比較的新しいものです。エージェントの開発を刺激し、その有効性を測定するために、研究者たちはベンチマークデータセットを作成しました。しかし、前述したように LLM の評価は地雷原であり、エージェントの評価には今日のベンチマークや評価手法に影響を与える追加的な落とし穴が多数あることが明らかになっています。この状況は、実用性がないにもかかわらずベンチマークで良好な結果を出すようなエージェントの開発を促すことになります。

私たちは、エージェントの評価における課題を特定し、それに対処する方法を提案する新しい論文を発表しました。論文はこちらでお読みください。著者は、プリンストン大学に所属する Sayash Kapoor 氏、Benedikt Ströbl 氏、Zachary S. Siegel 氏、Nitya Nadgir 氏、および Arvind Narayanan 氏です。

本稿では、AI エージェントの定義について考えを述べ、なぜ AI エージェント研究の未来に対して慎重な楽観主義を抱いているのか、また AI エージェントは単なる hype なのか実体のあるものなのかについて論じ、論文の概要を簡潔に紹介します。

エージェントという用語は何を意味するのか？それは単なる流行語に過ぎないのでしょうか。

「エージェント」という用語は、AI 研究者によって形式的な定義なしに使用されてきました。1 このため、マーケティング用語として乗っ取られ、その使用に対するある程度の反発が生じています。しかし、この用語が無意味であるわけではありません。多くの研究者が、言語モデルベースのシステムにおける文脈で何をもってエージェントとみなすかというコミュニティの直感的理解を形式化しようと試みてきました [1, 2, 3, 4, 5]。これは二値的なものではなく、「アジェンティック（agentic）」という用語で示されるようなスペクトラムとして捉えることができます。

上記に引用された AI エージェントに関する最近の五つの定義はすべて異なりますが、互いに強い類似性を有しています。新たな定義を提案するのではなく、既存の定義に従って AI システムをよりアジェンティックとみなす要因となる三つの性質のクラスターを特定しました：

環境と目標。環境が複雑であればあるほど、その環境で動作する AI システムはよりアジェンティックとなります。複雑な環境とは、多様なタスクやドメインを持ち、複数の利害関係者が存在し、行動をとるための長い時間的視野があり、予期せぬ変化が生じるような環境です。さらに、目標を追求する方法について指示されることなく複雑な目標を追求するシステムほど、アジェンティックとなります。

ユーザーインターフェースと監視。自然言語で指示を出し、ユーザーに代わって自律的に行動できる AI システムほど、よりエージェント性が高いと言えます。特に、ユーザーの監視を必要としないシステムほど、よりエージェント性が高いのです。例えば、チャットボットは現実世界でのアクションを実行できませんが、チャットボットにプラグイン（ChatGPT 用の Zapier など）を追加することで、ユーザーに代わっていくつかのアクションを実行できるようになります。

システム設計。ツール（ウェブ検索やコードターミナルなど）を使用したり、計画立案（過去の出力を振り返ったり、目標をサブゴールに分解したりする機能など）を取り入れたシステムほど、よりエージェント性が高いと言えます。LLM によって制御フローが駆動されるシステムは、静的なプログラムから LLM が呼び出されるシステムよりも、よりエージェント性が高いのです。

エージェントは実際に機能するのか？

ChatGPT のコードインタープリターやデータ分析モードのような一部のエージェントは有用でしたが、より野心的なエージェントベースの製品はまだ失敗に終わっています。AI エージェントを基盤とした主な製品発表 2 つは、Rabbit R1 と Humane AI pin です。これらのデバイスは電話への依存を排除または軽減することを約束していましたが、結果として遅すぎて信頼性に欠けることが判明しました。「AI ソフトウェアエンジニア」として大きな期待を浴びて 4 ヶ月前に発表された Devin は、動画レビューで酷評され、現在も待機リスト限定モードのままです。AI エージェントが現実世界の製品で有用となるためには、まだ長い道のりがあることは明らかです。

出典

では、AI エージェントはすべて過大評価なのでしょうか？結論を言うにはまだ早すぎます。上記のようなエージェントが広く採用されるのに十分なほど機能するようになるまでには、解決すべき研究課題が存在すると私たちは考えています。それを知る唯一の方法はさらなる研究を通じてであり、したがって AI エージェントに関する研究の価値はあると私たちは考えます。

主要な研究課題の一つは信頼性です。大規模言語モデル（LLM）はすでに、アシスタントに任せたい多くのタスクを実行するのに十分な能力を持っていますが、成功する製品となるにはまだ信頼性が十分ではありません。なぜそうなのかを理解するために、数十回もの LLM への呼び出しを必要とする飛行機予約エージェントを想像してみてください。それぞれの呼び出しが独立して、例えばわずか 2% の確率で失敗した場合でも、全体のシステムはあまりにも信頼性が低く、完全に役に立たないものになってしまいます（これは私たちが目にしてきた製品の一部の失敗を部分的に説明しています）。したがって、基盤となる言語モデル自体が改善されなくても、信頼性の向上に関する研究には多くの新たな応用分野が開ける可能性があります。そしてもしスケーリングが行き詰まったとしても、AI におけるさらなる進展のための最も自然な方向性はエージェントです。

しかし現在、評価手法が十分厳密ではないために、研究自体が過剰な期待や過度な楽観主義を助長しています。これは、一般的なタスク手法が定着する前の機械学習研究の初期段階と非常に似ています。これが私たちの論文につながります。

論文の貢献

AI コミュニティは、ベンチマーク上だけでなく現実世界でも有用な AI エージェントの開発を刺激するために、どのような変更を実施すべきでしょうか？これが本論文の中核となる問いです。私たちは5 つの推奨事項を提示します：

1. コスト制御付き評価の実施。多くの AI エージェントの基盤となっている言語モデルは確率的（stochastic）です。つまり、基盤となるモデルを単に複数回呼び出すだけで精度が向上する可能性があります。私たちは、このような単純なトリックが複雑なエージェントアーキテクチャよりも HumanEval ベンチマークで優れた結果を示す一方で、コストは大幅に低いことを示しました。すべてのエージェント評価においてコスト制御を行うべきだと主張します。（この発見は当初こちらで発表しました。この投稿公開から2 ヶ月以内に、パレート曲線とコスト・精度の共同最適化がエージェント評価においてますます一般的になっています。）

1. 精度とコストの共同最適化。評価結果を精度と推論コストのパレート曲線として可視化することで、エージェント設計における新たな領域が開かれます：すなわち、両方の指標を同時に最適化するアプローチです。私たちは、DSPy フレームワーク（DSPy）に修正を加えることで、HotPotQA において精度を維持しながらコストを削減する方法を示します。

1. モデル評価と下流タスクの評価を区別する。NovelQA の事例研究を通じて、モデル評価のために設計されたベンチマークが下流タスクの評価に用いられる場合、誤解を招く可能性があることを示す。我々は、下流タスクの評価ではコストそのもの（ドルコスト）を考慮すべきであり、モデルパラメータ数などのコストの代理指標に依存すべきではないと主張する。

1. エージェントベンチマークにおける近道（ショートカット）を防ぐ。エージェントベンチマークへの過学習が多数存在しうることを示す。我々はエージェントの一般化能力を 4 つのレベルに分類し、目指す一般化のレベルに応じて異なる種類のホールドアウトサンプルが必要であると主張する。適切なホールドアウトがない場合、エージェント開発者は意図せずとも近道を取ってしまう可能性がある。この点は WebArena ベンチマークの事例研究を通じて示される。

1. エージェントベンチマークの標準化と再現性の向上。WebArena および HumanEval の評価における再現性には広範な欠陥があることを発見した。これらの誤りは精度推定値を過大評価し、エージェント能力に対する過度な楽観主義を生み出す。

結論：慎重な楽観主義の理由

AI エージェントの評価は比較的新しく、ベストプラクティスがまだ確立されていないため、真の進歩と hype（過剰な期待）を見分けることが難しい。我々は、エージェントはモデルとは十分に異なる性質を持つため、評価手法の見直しが必要だと考える。本論文では、エージェント評価のための原理に基づくアプローチへの第一歩を踏み出した。これらの一歩が AI エージェントの評価の厳密性を高め、進展のための確固たる基盤を提供することを願っている。

私たちの研究の別の側面は、医学や社会科学などの科学分野における機械学習ベースの研究における再現性の危機に関するものです。ある意味では、現在の論文もこれと似ています。機械学習に基づく科学においては、改善される前に状況が悪化するだろうという見方があります。しかし、AI エージェント研究においては、実践が急速に変化するという点で慎重に楽観視しています。その理由の一つは、公開された論文とともにコードやデータを共有する文化がより強固であるため、エラーを容易に見つけることができることです。（この文化の変化は、過去 5 年間の集中的な取り組みによってもたらされました。）もう一つの理由は、誤解を招く評価に基づいた製品が失敗に終わることで、楽観的すぎる研究がすぐに現実に直面させられるからです。今後数年間は、研究面でもプロダクトリリースの面でも注目すべき面白い分野となるでしょう。

1 従来の AI では、エージェントは環境を知覚しそれに対して行動する定義された実体とされていますが、その定義は LLM（大規模言語モデル）時代においてはあまり有用ではありません。この定義の下では、サーモスタットさえもエージェントとして分類されてしまいます。