LangSmith CLIでフラグ付きトレースを3分でデータセット化

LangSmith CLI とコーディングエージェントで、手動分析を不要にするデータセット自動構築法

LangChain のカスタマーサポートエージェントでは、毎日の数千件の対話から「perceived error（知覚されたエラー）」評価器が問題箇所を自動的に検出しています。しかし、膨大なログを手動で検証するのは現実的ではありません。本記事では、LangSmith CLI とコーディングエージェント（Codex）を連携させることで、これらのフラグ付きトレースを数分で自動分類し、学習用データセットとして即座に活用できるワークフローを紹介します。

問題検出の鍵は「perceived error」評価器

大量の対話データを分析する際、まず重要なのは「どこに問題があるか」を特定することです。LangChain ではこれを支援するために「perceived error」と呼ばれる評価器を用意しています。この評価器は、エージェントが誤った判断を下したのか、ユーザーの意図を誤解していたのか、あるいは会話を間違った方向へ導いてしまったのかを検出します。

"perceived error は、会話にエラーの証拠があるか、ユーザーの要求を誤解しているか、対話を間違った方向へ進めたかを検出する評価器です。"

この評価器によってフラグ付けされたスレッドは、単なるノイズではなく「改善が必要な重要なデータ」の指標となります。しかし、数千件あるログから手動で一つずつ確認するのは不可能に近いため、自動化が不可欠です。

CLI とコーディングエージェントによる完全自動化

手作業を省くために活用するのが、LangSmith CLI とコーディングエージェント（Codex）の連携です。この組み合わせを使えば、複雑な操作なしで LangSmith のデータを直接処理できます。

まず手順として、最新のスクリプトを取得します。これは docs.langchain.com からコピーしてコーディングエージェントに渡すだけで完了します。スクリプトが更新されたことを確認したら、Codex に以下の指示を出します。

1. チャットトレースプロジェクトを確認する
2. 「perceived error」でフラグ付けされた最新の 50 スレッドを抽出する

これにより、エージェントは手動でログを開くことなく、必要なデータだけを自動的に取得します。取得したデータをもとに、次に問題の分類を行います。

定義済みカテゴリによる自動分類と分析

取得したスレッドをそのまま使うのではなく、どのような種類の問題が起きているかを把握する必要があります。LangChain のドキュメントには、以下のような定義済みの問題タイプ（Issue Types）が用意されています。

• Agent looping: エージェントのループ現象
• Context explosion: 文脈爆発による混乱
• Failed recovery: 回復失敗
• Feature gap: 機能不足
• Flawed plan: 計画の不備（タスクへの根本的な誤解）

これらのカテゴリをコーディングエージェントに伝え、フラグ付きスレッドを自動的に分類させます。エージェントは各スレッドの内容とフィードバックの理由を読み込み、定義されたカテゴリに振り分けます。

"定義された問題カテゴリに基づいて、フラグ付きスレッドを自動的に分類し、各タイプの発生頻度を把握します。"

実際の実行結果では、多くのケースで「Flawed plan（計画の不備）」が検出されました。これは、エージェントのアプローチ自体にタスクへの根本的な誤解が含まれていることを意味します。このように自動分類を行うことで、どの種類のバグが最も頻繁に発生しているかを即座に把握できます。

問題タイプごとの分割データセット作成

分析結果をそのまま活用するだけでなく、特定の課題に特化したデータセットを作成することが理想です。例えば、「エラー回復失敗」のケースだけを抽出して評価指標として使ったり、「計画の不備」の事例を後学習（post-training）のサンプルとして使ったりできます。

コーディングエージェントには、以下の指示を出します。

• 問題のあるスレッドを含むネイティブなスレッドデータセットを作成する
• 各問題タイプごとにデータセットのスプリット（分割）を作成する

これにより、LangSmith 上に「エラー回復失敗用」「計画不備用」など、目的別に整理されたデータセットが自動生成されます。生成されたリンクを開くと、人間と AI のペアやアタッチメントのレンダリングも正常に行われており、すぐに分析や学習に使える状態になっています。

まとめ：イテレーションサイクルの短縮へ

このワークフローにより、開発者は手動で大量のログを検証する負担から解放され、問題の根本原因分析とモデル学習用データの構築を迅速に行えます。特に大規模な対話データを扱うチームにとって、この自動化は品質改善プロセスを加速し、イテレーションサイクルを劇的に短縮する強力な手段となります。

"生成されたデータセットスプリットは、評価指標や後学習の例として、ドメインの要請に応じて即座に活用できます。"

LangSmith CLI とコーディングエージェントを組み合わせることで、AI エージェントの品質改善プロセスが劇的に効率化されます。手動分析の壁を取り払い、データ駆動型の開発を加速させましょう。