新論文：AIエージェントの信頼性科学へ向けて

著者：ステファン・ラバンサー、サイヤシュ・カプール、アーヴィンド・ナラーヤナン 生産性向上のための新しい AI エージェントについて聞いたとしましょう。購入の実行やコードの作成、メールの送信、あるいは顧客対応を代行するものです。これを信頼すべきでしょうか？そのエージェントは、確実に仕事をこなせるだけの信頼性を備えているのでしょうか。そもそも、エージェントが失敗したという恐ろしい話は数多く存在します。 驚くべきことに、AI エージェントの信頼性不足は広く知られているにもかかわらず、現在の AI 業界には信頼性を測定するための優れたツールもなければ、信頼性の明確な定義さえも持ち合わせていません。 アーヴィンドとサイヤシュは長年この問題について考えてきました。昨秋、博士論文でより単純で伝統的な AI システムにおける信頼性問題を扱ったポストドクター研究員のステファン・ラバンサーが加わりました。私たちは他の独立した研究者数名も招聘し、信頼性の包括的な測定を試みた結果を公開しました。私たちが目指すドラフト論文のタイトルは「AI エージェントの信頼性に関する科学への道（Towards a Science of AI Agent Reliability）」です。 私たちは、原子力や航空機の安全性など、多くの他の分野からの知見を借用しました。その結果、信頼性を12 の異なる次元に分解することができました。2 つの相補的なベンチマークで 14 のモデルを評価したところ、約 2 年間にわたる急速な能力向上がもたらしたのは、わずかばかりの信頼性向上のみであることが分かりました。インタラクティブなダッシュボードはここをご覧ください。 ![image](https://substackcdn.com/image/fetch/$s_!KXpN!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd904192c-a01e-42fb-8990-b46f387f4690_2120x1276.jpeg) 私たちの発見はまだ暫定的な段階ですが、AI エージェントが能力ベンチマークを圧倒するにもかかわらず、その経済的影響が緩やかであることについて業界の多くの人々がなぜ困惑しているのかを説明するのに役立つことを願っています。コミュニティが信頼性を体系的に追跡できるよう支援するため、私たちは AI エージェント向けの「信頼性指数（reliability index）」を立ち上げる予定です。これにより、研究者や産業関係者が信頼性の向上に取り組むための投資を促すことを期待しています。 目次 精度だけでは不十分：信頼性の 4 つの次元 能力の向上は急速ですが、信頼性の改善は modest です なぜ私たちの見解が間違っている可能性があるか デプロイヤー（導入者）はどうすべきか？ 研究者や開発者はどうすべきか？ 私たちの発見は AI の進展に何を意味するか？ さらに読むべき文献 精度だけでは不十分：信頼性の 4 つの次元 同僚を「信頼できる」と考えるとき、単に彼らがほとんどの場合正しいことを指すだけではありません。より豊かな意味を含みます： 同じことについて今日正しく明日間違えるのではなく、一貫して正しく行う（Consistency） 条件が完璧でないときに崩壊しない（Robustness） 自信を持って推測するのではなく、不確実なときにはそれを伝える（Calibration） 失敗した際、そのミスは壊滅的なものよりも修正可能なものである可能性が高い（安全性） 残念ながら、AI エージェントの評価はタスクにおける平均成功率という単一の数値に基づいて行われています。この数値は過去 2 年間で多くのタスクで急速に向上しており、それがエージェントの導入に対する大きな期待につながっています。 安全性が極めて重要な工学分野（航空、原子力、自動車）では、数十年も前に信頼性は平均的なパフォーマンスとは異なるものであることを理解していました。これらの分野は独立して、上記の 4 つの次元、すなわち一貫性（consistency）、堅牢性（robustness）、予測可能性（predictability）、そして安全性（故障の頻度と深刻さ）に収束しました。 例えば、原子炉保護システムは、停止が必要な条件が整うたびに毎回同じように反応しなければなりません。自動車の安全テストでは、センサーの故障や悪天候に対する対応を評価します。原子力リスク評価モデルは数千もの故障モードをシミュレーションし、その確率を定量化します。航空分野では、10 億飛行時間あたりに壊滅的なエラーが 1 つも発生しないことを目標としています。 能力の向上は急速ですが、信頼性の改善は modest です これらの4つの高次元の概念をさらに精緻化・分解し、12 の指標へと落とし込みました。その後、OpenAI、Google、Anthropic の14 モデルからなるエージェントを、18 ヶ月にわたるリリース期間を対象にテストしました。評価には、一般アシスタント向けベンチマーク（GAIA）とカスタマーサービスシミュレーション用ベンチマーク（TauBench）という2 つの補完的な指標を用いました。各タスクは指示文を言い換えながら5 回ずつ実行し、ツールや環境に意図的に障害を注入してその耐故障性を測定しました。また、タスク解決に対するエージェント自身の自信度をelicited（引き出し）することで、自己評価の適切さ（キャリブレーション）も評価しました。合計で500 回のベンチマーク実行を行いました。 18 ヶ月間の期間において、信頼性はわずかに改善するにとどまった一方、精度は大幅に向上していることが分かりました。主要な3 つのプロバイダーのモデルはいずれも同様の傾向を示すため、これは業界全体における限界である可能性が高いです（ただし、Anthropic のモデルが OpenAI や Google のモデルを上回るケースも一部存在します）。 より具体的には、以下の基準を測定しました： 一貫性：タスクを解決できるエージェントでも、同一条件下で繰り返し実行すると失敗することがあります。多くのモデルは一貫した回答を与えることに苦戦しており、結果の一貫性スコアは全体として30% から75% の範囲に分布しています。 耐故障性：ほとんどのモデルは、サーバークラッシュや API タイムアウトなどの実際の技術的障害には比較的柔軟に対応します。しかし、同じ意味を持つ指示文を言い換えた場合、パフォーマンスは大幅に低下します。 予測可能性：エージェントは自分が間違っている時に気づくのが苦手です。これは全体的に最も弱い次元です。エージェントが自信を報告する際、それはほとんど信号を持っていないことが多いです。あるベンチマークでは、ほとんどのモデルが正しい予測と誤った予測を偶然よりもよく区別できませんでした。 安全性：最近のモデルは制約違反を回避する点で明らかに改善されていますが、誤った請求などの財務エラーは依然として一般的な失敗モードです。ここでは「安全性」を、失敗が発生した際に生じる危害が限定されたもの（bounded harm）と狭義に定義しており、アライメントのようなより広範な懸念は含みません。安全性の測定方法についてはまだ試行錯誤中であるため、集約された信頼性スコアとは別に報告しています。 スケーリングの影響：モデルが大きくなれば必ずしも信頼性が向上するわけではありません。スケールアップは一部の次元（較正、頑健性）を改善しますが、一貫性を損なうこともあります。行動レパートリーが豊富な大規模モデルでは、実行間の変動性がより顕著になることがあります。 なぜ我々が間違っている可能性があるか 我々の見解では、信頼性は能力に遅れをとっており、研究者や開発者が正確性とは別に信頼性の向上に注力しない限り、信頼性は導入の障壁として残り続けるでしょう。我々が間違っている可能性には3つの理由があります。 まず、私たちの次元や指標にはある程度の主観性が含まれています。この主観性を最小限に抑えるために、私たちは分析を既存のエンジニアリング分野に基づいて行いました。また、遅い信頼性の進歩に関する仮説が指標の選択に影響を与えないよう、実験を実行する前に指標のリストを確定させました。それでも、他の研究者の方々に信頼性を測定するための代替案を提案していただきたく、現時点での私たちの発見は暫定的なものであることを強調しておきます。 第二に、精度が十分に高まれば、信頼性は重要でなくなるかもしれません。私たちの指標は慎重に設計されており、精度の向上が自動的に信頼性の向上につながることはありません。広義には、精度は失敗率に関するものであり、信頼性は失敗の性質に関するものです。しかし、エージェントが 99% の時間で正確であれば、それが完全に予測不可能であっても 1% のエラーを許容できるかもしれません。私たちはこれに反対します。私たちの見解では、高リスクな文脈における自律的な運用においては、信頼性が問題とならないために、3〜5 つの「ナイン」(99.9% から 99.999%) のパフォーマンスが必要であり、LLM ベースのエージェントがそのような閾値に達する見通しはないと考えています。しかし、時間が経てば明らかになるでしょう。 第三に、信頼性の向上が精度の向上よりも遅れているからといって、絶対的な速度が遅いとは限りません。現在の直線的な傾向を先へ投影すれば、エージェントはわずか 3 年で 100% の信頼性を実現するはずです！しかし、私たちが直線モデルが妥当だと考えているわけではありません。その理由の一つとして、信頼性の欠如（1-信頼性）が 1 オーダーの magnitude で減少するごとに、それが前回の難易度と同じくらい困難になると予想しているからです。つまり、90% から 99% への信頼性向上は、99% から 99.9% への向上と同程度に難しく、その後も同様であると予測しています。ただし、これもまた待ってみなければ分かりません。 私たちが正しいと仮定しましょう。これはデプロイヤー、研究者・開発者、そして AI の進展のペースを追跡している人々にとって重要な示唆を含んでいます。それぞれについて順に議論していきましょう。 デプロイヤーはどのように行動を変えるべきでしょうか？ 自動化と補完を明確に区別してください。時々間違った変数名を提案するコーディング・アシスタントは迷惑ですが、産業プラントの管理を行い出力が大幅に変動する自律型エージェントは許容できません。違いは、そのエージェントが人間の創造性を補完するために使われるか、それとも直接意思決定を行うために使われるかにあります。補完ツール（コパイロットや検索アシスタント）は、誰かが出力を確認するため、「信頼性」に対する割引が適用されます。一部の補完ユースケースでは、信頼性が実際には望ましくない場合さえあります。例えば、毎回同じ物語を生成する創作ライティング・アシスタントであれば、その職務において最悪の存在となるでしょう。 ついでに、エージェントが人間とどのように協力するかについては、理論化も測定も著しく不十分です。人間と言語モデルの相互作用を評価する初期の研究は存在しますが、それらは自律型エージェントが登場する以前のものであり、多段階タスクにおいてエージェントが人間とどのように協力するかを研究した同等の作業があるとは認識していません。介入研究（uplift studies）は有用な視点の一つを提供しますが、より広範なエージェント焦点型の取り組みは既に遅れています。 リリース判断における信頼性について考えてみましょう。自動化ツール（無人ワークフロー、顧客対応ボットなど）にとって、信頼性は妥協の余地のない要件です。デプロイヤーは、航空業界がサービス開始前に認証を要求するのと同様に、サンドボックスから本番環境へ移行する前に信頼性の閾値を満たすことを義務付けるべきです。このような分野から借用できる他の実践も多数あります。例えば、エージェントの失敗を中心にインシデント報告文化を構築することなどです。 私たちが特定した指標は、信頼性を理解するための出発点として広く有用ですが、デプロイヤーは自社の特定の文脈とデータセットに合わせて独自の内部評価を構築すべきです。 研究者や開発者はどのように異なるべきでしょうか？ ベンチマークは AI の進展を牽引します。約一年半前に発表した「AI Agents that Matter」という論文で、エージェントベンチマークが測定しているものと実務上で重要視されるものの間に大きな隔たりがあることを示しました。今回の新しい論文では、その隔たりが依然として存在することが示されています。この乖離を解消するには、AI 評価と AI 開発の両方の実践が方向転換する必要があります。 信頼性を測定する。現在のベンチマークを一度実行して精度の数値を報告するというアプローチは、浅く表面的な性能指標に過ぎません。これは完璧な天候の中で車を一度だけストレステストし、合格すれば安全だと宣言することに匹敵します。エージェントを評価する際には、複数の実行でテスト（結果のばらつきを検証）、異なる条件下でのテスト（適応性を評価）、そして継続的なテスト（モデルや環境が変化するたびに再テスト）を行う必要があります。精度に代わるものではなく、信頼性プロファイルを併せて報告することを求めます。 信頼性の理解と向上。私たちの実験では、一貫性と予測可能性が、モデルをより信頼できるものにすることの最大の障壁であることが示唆されました。エージェント開発者は、これらの弱点を明示的に改善することを検討すべきです。そのためには、ターゲットを絞った最適化や、より良いスケフォールディング（基盤構築）が可能かもしれません。特に、エージェントは失敗する可能性が高い状況を認識してそれを表明し、実際に失敗した際には優雅に回復できる能力を持つべきです。さらに推測的なアイデアとしては、開発段階では異なる戦略を探求しつつ、展開時には一貫した実行計画に従うエージェントが挙げられます。これにより、毎回同じタスクを異なる方法で解決するのではなく、エージェントとワークフローの両方の最良の点を同時に提供できます。 私たちの発見は AI の進展にとって何を意味するのか？ 能力と信頼性のギャップは、人工一般知能（AGI）がもたらすと予測されていた労働市場への急速な影響がまだ見られない理由の一つである可能性があります。しかし、それは唯一の理由ではありません。最近の英国 AI 安全研究所（AISI）の報告書では、AGI に対する6つの障壁が特定されました。ただし、その報告書は各障壁を概略レベルで議論しているに過ぎません。 私たちの論文は、これらの障壁の一つである「信頼性」について、骨格に肉付けするものとして捉えることができます。私たちが特定した4つの次元のいずれも、現時点では解決済みとはみなすことができず、図中に緑色で示された個々の指標のうち2つだけが（暫定的に）解決済みと見なせる状態です。 ![image](https://substackcdn.com/image/fetch/$s_!MID-!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F8f64a3e5-d811-480d-9003-b2fcd0bc6e92_1522x974.png) AGI に対する他の障壁に関する今後の研究により、AI エージェントが広く展開される前に改善しなければならないパフォーマンスの多くの他の次元が明らかになる可能性があります。 信頼性に関する私たちの分析と同様に、AGI に対する他の障壁を具体化するためには、まだ多くの作業が必要です。私たちが抱いている直感は、これによって進歩が遅れている多くの他の次元と指標が明らかになるだろうということです。何兆ドル規模の問いは、エージェントが推論スケーリングや強化学習などの一般的な手法を通じて全体的に改善されるのか、それとも信頼性、適応力、独創性などの個々の次元を改善するために地道な作業が必要となるのかという点です。 AI の進展と将来に関するエビデンスに基づく分析を受け取るには、購読してください。 さらに読むべき文献 66 ページにわたる完全な論文は arXiv で入手可能で、提案する指標の定義、実験設定の詳細、推奨事項および今後の研究への拡張された議論が含まれています。著者は、Stephan Rabanser, Sayash Kapoor, Peter Kirgis, Kangheng Liu, Saiteja Utpala, および Arvind Narayanan です。論文に加えて、実践者が個々のモデル、ベンチマーク、信頼性の次元に詳しく掘り下げることを可能にするために、結果のインタラクティブなダッシュボードも提供しています。実験を再現するためのコードは GitHub で利用可能です。 本論文は、AI エージェント評価の科学を推進するという私たちのより広範な取り組みの一部です。主要な出版物には、「AI Agents that Matter」および「Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation」があり、後者は ICLR 2026 に最近採択されました。 本論文は、ベンチマークを通じて測定する範囲を拡張することを目指す先行研究の上に構築されたものと見なすことができます。例えば、HELM は較正（calibration）や堅牢性（robustness）を含む 7 つの指標を導入し、これらを用いて主要なベンチマーク上で数十の言語モデルを評価しました。 もちろん、これが唯一の要因ではありません。ベンチマークは依然としてデータ汚染に苦しんでおり、能力の進歩を過大評価する可能性があります。「AI を通常の技術として捉える」という枠組みは、能力の進歩と経済的影響の間の障壁を理解するための有用なツールを提供します。信頼性は製品・アプリケーション段階に属します。人間、社会、組織的要因はその下流に位置します。これらの要因がどれほど深刻になり得るかを示すケーススタディとして、最近のエッセイ「AI は自動的に法務サービスを安価にするわけではない」をご覧ください。

新論文：AIエージェントの信頼性科学へ向けて

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト