火山引擎、LLM アプリの可観測性向上へ TLS と AgentLoop を紹介

火山引擎存储 2026-09-09 18:05 北京

火山引擎のログサービス「TLS（Tinder Log Service）」は、ログ、Trace、Metrics といった可観測データを一元管理・分析できるプラットフォームです。一方、「AgentLoop」は TLS が提供する AI Agent の運用監視、課題の蓄積、オフライン評価、実験比較、品質分析のための機能セットです。AgentLoop を活用することで、Agent の実行プロセスを可視化し、複雑な処理フローを再生可能にし、オンライン上の問題を記録・蓄積し、バージョンごとの最適化を評価できるようになります。

本稿では、TLS の AgentLoop を用いて LLM アプリケーションの運用を監視し、ブラックボックス化する課題を解決するためのベストプラクティスをご紹介します。

LLM アプリケーション可観測性の価値と TLS が提供する機能

LLM アプリケーションは典型的な「ブラックボックス」の特徴を持っています。ツール呼び出しをサポートするインテリジェントアシスタントであっても、コンテキストの整理、モデル推論、ツールの実行、結果の返却、そして二次的な要約といった複数の段階を経る場合があります。一つの回答を生成する背後には、複数のモデルやツールの呼び出しが潜んでいることも珍しくありません。

もし出力が期待外れになったり、応答遅延が発生したり、トークン消費量が予測を超えたりした場合、従来のビジネスログだけでは「どのモデルとツールを呼び出したのか」「各段階の処理時間はどれくらいか」「トークンはどこで多く消費されたのか」「エラーはどの時点で発生したのか」「複数のリクエストが同じセッションに属しているかどうか」といった疑問に明確に答えることができません。

可観測性システムの核心目標は、実行プロセスを構造化され標準化された全リンクデータに変換することです。TLS の LLM アプリケーション向け可観測ソリューションには、以下の要素が含まれます。

• アプリケーション側でのデータ収集：LLM Observer SDK をアプリケーションに組み込み、ユーザーからのリクエスト、モデルとの対話、ツールの呼び出し、および異常情報を収集します。
• 標準化されたデータ処理：OpenTelemetry GenAI のセマンティック規約に従い、元の呼び出しデータを統一された Trace モデルに変換します。
• データの保存と利用：OTLP または HTTP を介して Trace を TLS にアップロードし、永続的な保存、検索、集計を完了させます。
• 可視化ダッシュボード：AgentLoop のフロントエンドページを通じて、Session、Trace、および呼び出しチェーンを表示し、日常の点検や問題の振り返りを支援します。

TLS LLM アプリケーション可観測体系の概要

LLM Observer SDK はモデル自体を直接呼び出すわけではありません。アプリケーション側では引き続き、火山方舟などの OpenAI 互換サービスに対してモデルクライアントを通じて呼び出しを行います。SDK の役割は、モデルの使用状況、トークン数、処理時間、エラー状態などを収集し、TLS にアップロードすることです。

ユーザー入力

└── TypeScript LLM アプリケーション

├── モデルクライアント ──> 火山方舟 ──> 豆包モデル

└── LLM Observer SDK

├── Agent Span：1 つの業務リクエスト

├── Model Span：1 つのモデル呼び出し

└── Tool Span：1 つのツール実行

│

▼

TLS Trace Topic

│

▼

AgentLoop の Session / Trace ページ

セッションはユーザーの会話履歴を示し、複数のトレースを含めることができます。トレースは1回のリクエストまたは1ラウンドの対話を表します。スパンは具体的な実行段階を指します。

ツール呼び出し付きのトレースを使用すれば、モデルの意思決定プロセス、ツールの実行状況、そして最終的な回答を復元することが可能です：

セッション

├── Trace 1: エージェント → モデル

├── Trace 2: エージェント → モデル → ツール → モデル

└── Trace 3: エージェント → モデル

LLM アプリケーションの可観測データへの接続

Node 環境での接続

接続前に、Node.js 18 以降の環境、利用可能なモデルサービス、TLS Trace Topic、および対応する認証情報を準備する必要があります。モデル用クレデンシャルは大モデルの呼び出しに使用され、TLS 用クレデンシャルは Trace の報告に使用されます。これらは互いに独立しています。

SDK をインストールした後、モデルクライアントに可観測機能を追加し、ビジネスリクエストの外側で Agent Span を作成します。モデルとツールの呼び出しは子 Span として形成され、リクエストが終了すれば TLS で検索可能です。

現在の SDK は以下の典型的なシナリオに対応しています：

• 単輪対話：ユーザーのリクエストとモデルの応答を 1 回記録します。
• 多輪対話：同じ session.id の下で、各ラウンドごとに独立した Trace を生成します。
• ストリーミング応答：モデルの内容をリアルタイムに出力し、ストリーム終了時に完全な応答とトークンをまとめて記録します。
• ツール呼び出し：モデルの意思決定、ツールの実行、そして最終的な回答を連鎖させます。
• 異常リンク：モデルまたはツールの呼び出しエラーを記録し、エラーノードとコンテキストを保持します。

SDK は TLS_TRACE_CAPTURE_CONTENT を通じて、Input、Output、ツールパラメータ、およびツール結果の収集有無を制御します。

本文の収集をオフにしても、モデル、トークン数、処理時間、ステータスなどの可観測情報は引き続き保持されます。本番環境では、ビジネスデータガバナンス要件に合わせて収集範囲を設定し、パスワードや AK/SK、API Key といった機密情報が Trace に含まれないようにする必要があります。

import OpenAI from'openai';

import { TraceClient, instrumentOpenAI } from'@volcengine/tls-llm-observer';

const traceClient = new TraceClient();

const ark = instrumentOpenAI(

new OpenAI({

apiKey: process.env.ARK_API_KEY,

baseURL: 'https://ark.cn-beijing.volces.com/api/v3',

}),

{ traceClient },

);

const response = await ark.responses.create({

model: process.env.ARK_MODEL!,

input: '请用一句话介绍火山引擎日志服务',

});

console.log(response.output_text);

await traceClient.shutdown();

すぐに使える可視化ダッシュボード

Trace を TLS に書き込むと、独立した LLM Observer SDK Dashboard Model が AgentLoop ページの表示を駆動します。他の収集プラグインのテンプレートとは完全に隔離されており、フロントエンドコンポーネントのみが共通して再利用されています。

セッション分析

SessionTableV2 は session.id をキーに複数回の Trace を集約し、会話の最初の Input、Trace の総数、使用されたトークンの合計、利用したモデル、そして累積処理時間を表示します。開発者はまず会話全体の概要を把握し、その後詳細画面で各リクエストを一つずつ復習できます。

Trace 分析

TraceTableV2 は、各リクエストを単位として Input、ステータス、Input トークン数、Output トークン数、トークンの合計値、処理時間を表示します。また、ステータスや応答時間、トークン数の範囲で絞り込み検索が可能で、失敗したリクエストや遅延が発生しているリクエスト、トークン消費量の多いリクエストを素早く特定できます。

呼び出しチェーン分析

Trace の詳細情報は、親子関係に基づいて Agent、Model、Tool の Span を復元します。通常の Q&A シナリオでは、1 回のモデル呼び出しにおける Input、Output、Token 数を確認できます。一方、ツール利用の場面では、モデルが選択したツールや呼び出しパラメータ、実行結果、各フェーズの処理時間をさらに精査でき、これにより障害の原因特定やパフォーマンスのボトルネックを明確にできます。

これらの観測機能は、最終的に以下の 3 つの開発アクションに蓄積されます。

• 精密なトラブルシューティング: Trace の呼び出しチェーンを通じて、モデルやツール、あるいはビジネスロジック内の異常箇所を特定します。
• コスト最適化: Trace とセッションレベルの Token 集計を活用し、リソース消費が大きいリクエストやセッションを抽出・分析します。
• 包括的な振り返り: セッションデータと呼び出しチェーンデータを組み合わせ、複数回にわたる対話におけるモデルの意思決定プロセスやツールの実行状況を復元します。

まとめ

LLM アプリケーションの実行過程で生じる「ブラックボックス化」の問題に対し、TypeScript LLM Observer SDK は、ユーザーからのリクエスト、モデルとのインタラクション、ストリーミング応答、そしてツール呼び出しを標準化された Trace 形式に変換し、TLS（Trace Log System）へ送信します。これにより、AgentLoop は Session、Trace、および呼び出しチェーンのビューを通じて、開発者が日常的な巡回点検、コスト分析、問題の振り返りを容易に行えるよう支援します。その結果、一度きりのモデルアプリケーション呼び出しが「見えない状態」から、「検索可能・分析可能・追跡可能」な状態へと進化します。

今後の展開方向

• モデルとフレームワークエコシステムの拡張: より多くのモデルプロバイダーや Agent フレームワーク、ワークフローフレームワークに対する標準的な接続機能を継続的に追加していきます。
• 観測指標の充実: 最初の Token が返されるまでの遅延（首 Token 遅延）、Output の生成速度、キャッシュヒット率、およびモデルコストなどの指標を追加し、より包括的なパフォーマンスとコスト分析の基盤を構築します。
• 観測と評価の連携強化: 本番環境での Trace データを、モデルの評価、プロンプトの最適化、ツールの改善プロセスと統合し、「観測→分析→最適化→検証」という継続的な改善サイクルを実現します。

阅读原文

微信で開くにはこちらへジャンプ