エージェント進化も評価追わず

AI エージェントの進化は止まらないが、評価（Evals）はなぜ追いつかないのか？

AI モデルの能力が飛躍的に向上し、自律的なループ処理や複雑なグラフ構造へとアーキテクチャが進化している今、多くのチームが陥っている致命的な罠があります。それは、新機能の導入に合わせてシステムを再設計しながらも、評価プロセス（Evals）を「静的」なままに保ち続けている点です。

モデルの進化速度と評価プロセスの遅れは、品質リスクとして顕在化しています。本稿では、Brain Trust の Field CTO である Amaya Bhavadkar氏が語る、アーキテクチャの変化に伴い評価も動的に進化するべき理由と、その具体的な方法論を解説します。

モデル進化がシステム再設計を迫る時代へ

ここ数年で AI アプリケーションの構築は劇的に変化しました。デモを作るのは簡単ですが、本番環境（Production）で安定して動作させることは依然として困難です。その理由は、システム自体が動的かつ急速に進化しているからです。

モデルの進化は単なるバージョンアップではありません。数ヶ月ごとに新リリースがなされ、ツール呼び出しの精度向上、超長文コンテキストの処理、安全なコード実行、そして高度なメモリシステムの登場など、前世代にはない機能が次々と解放されています。これは段階的な改善ではなく、飛躍的なステップ関数の変化です。

「モデル能力の飛躍的向上によりシステム再設計が必要となる一方、評価プロセスが追いついておらず、新機能の活用や安全性確保に支障をきたしている」

以前のシステムは、当時のモデルがツール呼び出しに不慣れだったことや、コンテキスト制限があったことなどを前提として設計されていました。そのため、新しい高性能なモデルを導入しただけでは、その真価を発揮できません。新機能を最大限に活用するには、既存のアーキテクチャを大幅に再構築（Replatforming）する必要があります。

しかし、アーキテクチャが変われば、システムの「失敗する場所」も変わります。新機能は新たな可能性をもたらす一方で、新たなバグやエラーの表面積（Surface Area）も生み出します。したがって、評価プロセスもまた、新しいアーキテクチャに合わせて適応・進化させなければなりません。

AI システム進化の 4 つの段階と評価の限界

AI エージェントのアーキテクチャは、以下の 4 つの段階を経て進化してきました。各段階で「何が失敗するか」が変わり、それに伴い評価の焦点も移らなければなりません。

1. 単一プロンプト（Single Prompt）

初期の AI アプリケーションでは、入力に対してモデルが一度呼び出され、出力を返す単純な構造でした。この段階での評価は、「最終回答の質」に集中します。

• 評価対象: 正確さ、事実性、ハルシネーションの有無。
• 手法: ゴールデンデータセットを作成し、正解との照合を行う。
• 限界: ツール呼び出しやオーケストレーションがないため、失敗の要因が限定的でした。

2. チェーン（Chain）

次に登場したのは、RAG（検索拡張生成）などに見られる「チェーン」です。ユーザー入力から情報を抽出し、コンテキストを検索してモデルに渡す一連のステップを踏みます。

• 評価対象: 最終回答に加え、情報抽出の精度、文脈の取得ミス、長文コンテキストでの推論能力（コンテキスト stuffing）など。
• リスク: パーサーや検索エンジンのエラー、モデルが大量の文脈を処理できない場合の性能低下など、複数の失敗ポイントが発生します。

3. React ループとグラフ（Graph）

2023 年末から 2024 年初頭にかけて流行したのが、モデルが推論と行動をループさせる「React」アプローチです。しかし、当時のモデルはツール呼び出しやオーケストレーションにまだ不安定さがあり、誤ったツール呼び出しや推論の破綻が多発しました。

• 対応策: 制御不能な部分をシステム側で管理するため、「ワークフローグラフ」やステートマシンを導入。特定の意図に対してシステム全体が制御を握り、モデルはノードレベルで動作するようになりました。
• 評価対象: オーケストレーションの整合性、分岐ロジックの失敗、ノード間の契約不履行、分類器のエラーなど。
• リスク: 設計された意図外のケース（Distribution Shift）が来るとシステムが破綻しやすく、複雑なグラフ構造ゆえに評価すべき箇所が爆発的に増加しました。

4. 自律的なループ処理（Autonomous Loops）

2025 年半ば以降、Anthropic や OpenAI の新モデルが登場し、状況は再び変わりました。ツール呼び出しの信頼性が劇的に向上し、モデル自身が計画を立て、長期的なタスクを管理し、誤った実行から自己修正（Course Correction）できるようになりました。

• 変化: 複雑なグラフによる制御が不要になり、モデル自身が高レベルで自律的なループ処理を行うようになります。これは React ループの復活ですが、以前とは桁違いに安定しています。
• 新たな課題: この新アーキテクチャは高い自由度を持つ反面、実行経路（Trajectory）のばらつきが大きくなります。同じ入力でも毎回異なる経路をたどり、予期せぬ失敗モードが発生する可能性があります。

静的な評価セットが招く「未知の失敗」

多くのチームが陥っているのは、この進化のスピードに評価プロセスが追いついていない点です。既存の評価セット（Evals）をそのまま使い続けると、新アーキテクチャ特有の新しい失敗モードや、予期せぬバグを検知できません。

特に最新の自律型エージェントでは、モデルが「どのように」タスクを完了したかというプロセス自体にリスクがあります。単に最終回答が正解かどうかを見るだけでは不十分です。

• 既知の失敗: 過去のデータセットでカバーできるエラー。
• 未知の失敗（Unknown Failure Modes）: 新しいアーキテクチャやモデル特性によって生じる、これまで経験したことのないエラーパターン。

既存の静的な評価では、この「未知の失敗」を捉えることはできません。新機能の導入時に新たな失敗要因を見逃すリスクは、品質保証の欠如に直結します。

生産環境データを活用した「動的な評価フライホイール」

解決策は、評価プロセスを静的なものから動的なものへ転換することです。Brain Trust のような観測ツール（Observability Platform）を活用し、生産環境からのデータを継続的に収集・分析するサイクル、「評価のフライホイール」を構築する必要があります。

1. データの収集: 本番環境で実際に発生した失敗や、モデルが迷走した経路のデータを収集します。
2. 分析と発見: 既存の評価セットでは検出できない「未知の失敗モード」を発見・特定します。
3. 評価セットの自動拡張: 発見された新しい失敗パターンを学習し、評価セットに自動的に追加・更新します。

このサイクルを回すことで、モデルやアーキテクチャの変化に合わせて評価が自動的に進化し、継続的な品質保証が可能になります。単なるモデルの切り替えではなく、継続的な学習と改善を可能にするインフラ投資が、今こそ求められています。

まとめ

AI エージェントのアーキテクチャは、自律的なループ処理へと進化を遂げています。しかし、評価プロセスが追いつかなければ、新機能の恩恵を受けられず、品質リスクが高まります。モデルの進化に合わせてシステムを再設計するだけでなく、生産環境からのデータを活用して評価を継続的に適応・拡張する「動的なフライホイール」の構築こそが、次世代 AI アプリケーションの成功への鍵です。