エージェント型観測と従来手法の違いを解説 — Braintrust Phil Hetzel氏

AI エージェントの「品質」を測るには、従来の監視ツールでは不十分だ：Braintrust 氏に聞く観測可能性のパラダイムシフト

生成 AI エージェントの実装が本番環境へ移行する中、従来のシステム監視（Up/Down の確認）ではエージェントの推論プロセスや出力品質を検証できないという課題が浮き彫りになっています。非確定的な挙動や巨大なテキストデータに対応するためには、既存の OLAP データベースではなく、Rust 製の独自インデックスと人間による評価ループを組み合わせた新たなアーキテクチャが必要です。

決定論的 vs 非確定的：観測性の根本的な違い

従来のアプリケーションは「決定論的」です。特定の入力に対して常に同じ出力が返され、制御フローも明確に定義されています。そのため、Grafana や Datadog といった既存の監視ツールで、レイテンシやエラー率（400/500 レベル）、稼働率などを計測すれば、システムの健全性を把握できました。

しかし、AI エージェントは「非確定的」です。同じプロンプトを入力しても、モデルの特性上、異なる経路をたどり、多様な回答を生成します。

「エージェントがなぜそのパスを選んだのか、別のパスを選んだのかに関心があります。従来の観測性は制約された既知の指標に焦点を当てますが、エージェントの観測性は測定対象がより広範囲である必要があります」

単なる「応答までの時間」や「トーク数」といった定量的なメトリクスだけでなく、「提供した情報が文脈に基づいていたか」「信頼できる情報源使用了か」「ブランド基準に合致しているか」といった、定性的で複雑な評価が必要になります。これらは従来の監視ツールではテストできない領域です。

1GB に達するトレースデータと、Rust 製独自データベースの必要性

エージェントの観測性を支える「トレース」は、従来のログとは比較にならないほど複雑で巨大です。

エージェントのトレースには、半構造化・非構造化テキストが混在しており、1 つのスパンが 20MB に達し、全体では 1GB を超えるサイズになることも珍しくありません。これほどの大量のデータを、従来の監視ツールと同じ速度で処理することは不可能です。

Braintrust はこの課題に対し、既存の OLAP データベース（例：ClickHouse）ではなく、ゼロから独自データベースを構築しました。その核心は、Rust で書かれたオープンソースインデックス「Tantivy」の採用にあります。

「Amazon という単語を含むすべてのトレースを知りたい」というワークフローを実現するには、トレース全体でフルテキストベースのインデックスを作成する必要があります。これが従来の OLAP では難しかった点です」

Tantivy は Apache Lucene に似ていますが Rust で実装されており、高速な読み込みとリアルタイムでの全文検索を両立させています。これにより、システムエンジニアが SQL 風のクエリで瞬時にデータを照会し、エージェントの改善につなげることが可能になっています。

技術者だけでなく「専門家」が評価する人間によるアノテーション

AI エージェントの観測性を向上させる鍵は、ツールだけでなく「人」にあります。従来の監視システムにはシステムエンジニアやプロダクトエンジニアといった技術者が関与しますが、エージェントの評価には、その領域の知識を持つ非技術者の専門家が不可欠です。

例えば医療現場なら医師や看護師、資産運用ならアドバイザーが、自然言語でエージェントの出力を評価・正当化するプロセスが必要です。彼らはユーザーに近く、問題領域に関する深い知識を持っているため、プロンプトを通じて直接価値を生み出せます。

この「人間によるアノテーション」は、単なる採点にとどまりません。専門家が「なぜその評価を下したのか」という理由を記述することで、そのデータが LLM を活用して自動化されたスコアリング関数の構築にフィードバックされます。

「専門家に来てもらい、エージェントを採点するだけでなく、なぜそのように評価したのかの理由も示すことが非常に価値があります。最終的に、その理由付けを元に、よりスケーラブルな採点関数を構築し、自動化されたスコアリングに実装できる失敗モードを発見できます」

結論：品質向上のための「人間と AI のループ」へ

AI エージェントの信頼性を確保するには、従来の「稼働率監視」から、「推論プロセスと出力品質の可視化」へとパラダイムをシフトさせる必要があります。Braintrust が提唱するのは、高速な全文検索インデックスによるリアルタイム観測性と、専門家の知見に基づく人間のアノテーションを組み合わせたアプローチです。

この「人間による評価→自動化ループ構築→品質向上」というサイクルこそが、生成 AI エージェントを本番環境で成功させるための重要な指針となります。