CX エージェントの観測と検証

シスコが実証した「自己修復型」AI インフラ：フィードバックをコードへ、曖昧な問い合わせを解決する戦略

大規模な顧客サポート環境において、AI エージェントを単なるチャットボットとして運用し続けるのか、それとも自律的に学習・修復を行うインフラへと進化させるのか。シスコの Carlos Pereira 氏は、後者の実現に向けた具体的なアーキテクチャと「観測（Observability）」の重要性を明かしました。

本稿では、ユーザーの「いいね」ボタンの押し下げから自動でコード修正まで行う完全自動化ループや、曖昧な問い合わせを文脈解析で解決する「セマンティックルーティング」など、人間の手間を最小限に抑えつつスケーラビリティを維持する最新のアプローチを紹介します。

1. フィードバックを即座にコードへ：完全自動化のループ

シスコのカスタマーサポートでは年間平均 1600 万回のインタラクションがあり、昨年は 160 万件のチケットが発生しました。本システムを導入した今年、この数は 140 万件へと減少しています。これは、AI エージェントがユーザーからのフィードバックを即座に「改善のシグナル」と捉え、自動で修正を行う仕組みによるものです。

従来のアプローチでは、人間が数千件のフィードバック（特に「いいね」ボタンの押し下げやエラー報告）を手動で処理する必要がありましたが、これはスケーラビリティの観点から不可能です。そこで導入されたのが、トリアージエージェントとコーディングエージェントによる完全自動化ループです。

このプロセスは以下のステップで構成されます。

1. シグナルの捕捉: ユーザーからの「thumbs down（押し下げ）」やエラー、低信頼度の分類などを、LangSmith を介してリアルタイムにトレースとして捕捉します。
2. トリアージとクラスタリング: トリアージエージェントがこれらの信号を分析し、類似した事象をクラスタリングします。これにより、「50 件の個別のバグ」ではなく「1 つの根本的な問題」として Jira にチケット化されます。偽陽性（ユーザーの不機嫌さや認証エラーなど）もここでフィルタリングされ、真に修正が必要な事象のみが選別されます。
3. コード修正案の生成: クラスタリングされた問題に対して、コーディングエージェントが原因分析を行い、コードの修正案を生成します。
4. 人間の承認とマージ: 最後に、人間は「読み取り」や「分析」には関与せず、「書き込み（承認）」のみを行います。AI が作成したプルリクエスト（PR）を人間がレビューし、承認すれば自動的にマージされます。

「観測性における成功は、ここで対処する必要がある量に比例します。朝早いですが、目を覚ましてください。」

この仕組みにより、ユーザーのフィードバックからコード修正までを最短経路で実現しています。重要なのは、AI に「行動する権限」を与えつつ、最終的な決定権と責任は人間が持つというバランスです。

2. 「評価（Evals）」は実験ではなく本番テストの一部である

この自動化ループを機能させる上で最も重要な教訓の一つが、評価（Evals）の捉え方です。多くの組織では評価を「実験」や「サイドプロジェクト」として扱いますが、Pereira 氏はこれを明確に否定します。

「どうか、評価を実験ではなくテストとして扱ってください。パイプラインの一部として実際のテストのように扱い、リポジトリ内でバージョン管理してください。」

評価データセットはダッシュボード上にあるのではなく、コードリポジトリ内に存在し、CI/CD（継続的インテグレーション/継続的デリバリー）に組み込まれるべきものです。コンポーネントレベルのテストが良好でも、エンドツーエンドで失敗することがあるため、両方の視点が必要です。

このアプローチにより、修正した内容が自動的に新しいテストケースとして蓄積され、テストスイートは複利のように成長します。回帰問題は恒久的な課題として扱われ、エージェントの権限をデータ分野の専門家（SME）に委譲することで、専門知識に基づいた安全なリリースが可能になります。

3. 曖昧な問い合わせを解決する「セマンティックルーティング」

サポート現場では、顧客が「まず何に注力すべきですか？」や「助けて」といった極めて曖昧な問い合わせを行うことがよくあります。このような場合、従来のルールベースの振り分けは機能しません。

シスコでは、セマンティックルーティング（意味論的ルーティング）という仕組みを導入しています。これは、顧客のメッセージが不十分な場合でも、以下の要素をリアルタイムで解析して最適な専門エージェントへ振り分けるものです。

• リアルタイムのコンテキスト: 現在の顧客環境の状態
• 履歴データ: 過去の問い合わせやチケット内容
• ベストプラクティスとの比較: AI が分析した設定評価結果

例えば、ある顧客が「まず何に注力すべきですか？」と尋ねた際、システムは裏側でその顧客のネットワーク設定を評価し、潜在的なセキュリティ脆弱性や設定ミスを特定しています。そして、単なるチャットボットの回答ではなく、「あなたの環境には 2000 件以上の潜在的な問題があり、まずはこのセキュリティ対策が最優先です」という具体的なアドバイスと共に、セキュリティ専門のエージェントへ接続します。

このルーティングは並列パイプラインで実行され、ガードレール（安全装置）を経て LangSmith で管理されます。AI が学習するにつれてルーターの精度も向上し、人間による推奨事項と組み合わせてシステムが自己改善を続けます。

4. MCP を活用した脱結合と柔軟な拡張

最後に、LangSmith や Jira、Git などの外部ツールとの統合において、MCP（Model Context Protocol）レイヤーを活用している点が挙げられます。これは、バックエンドのツールを交換してもフロントエンドやエージェントへの影響を与えずに済む「脱結合」を実現する鍵です。

「MCP は私たちの統合レイヤーです。フロントエンドに触れずにバックエンドを差し替えることは、このインターフェースレイヤーを使う場合にのみ可能です。」

LangSmith の MCP がトレースの分析を担当し、Jira の MCP が課題作成を担当するなど、関心の分離を保つことで、AI のコンテキストが混乱するのを防いでいます。これにより、UI や IDE などのフロントエンドを変更することなく、バックエンドのツールを柔軟に拡張・交換することが可能になっています。

まとめ：観測性がボトルネックになる時代へ

シスコの実装は、AI エージェントを「人間の代わりに働くもの」ではなく、「人間の判断を補完し、自律的に改善するパートナー」として位置づけています。人間がループに参加するのは「書き込み（決定）」のみであり、それ以外の分析や実行は AI に委ねることでスケーラビリティを確保しています。

「観測性があなたの新しいボトルネックになります。エージェントを大規模にリリースするなら、観測性を徹底的に受け入れてください。」

フィードバックの洪水をノイズではなくシグナルとして捉え、評価をインフラの一部として扱い、MCP による柔軟な統合を実現する。この「観測と検証」の標準化こそが、エンタープライズ環境における AI 導入を加速させる重要な指針となるでしょう。