Credit Genie、LangSmithで数千のエージェントトレースをデバッグ

AI 金融アシスタント「AskGenie」が LangSmith で見つけた、数千件のトレースを自動でデバッグする戦略

AI 金融アシスタント「AskGenie」の開発において、複雑化するエージェントの動作とツール混同の問題に直面した際、LangChain チームは観測基盤として LangSmith を採用しました。特に数千件にも及ぶトレースを手動で確認するのは不可能だったため、「Insights」機能を活用して使用ケースごとに自動セグメント化し、効率的なテストケース生成プロセスを確立したのです。

エージェントの複雑性と「意図の混同」という壁

AskGenie は、ユーザーが長期的な財務安定を実現できるよう支援する AI アシスタントです。このエージェントは LangGraph を基盤に構築され、自然な会話を通じて「お金の使い道はどこか？」といった質問に応えます。

しかし、開発を進める中で深刻な課題が発生しました。エージェントには複数のツールが紐付いていますが、その中には機能や目的が類似するものが存在します。例えば、「一般的な顧客サポートの回答」を行うツールと、「実際の担当者に接続する」ツールの両方がある場合です。

「AI がこれらの類似ツールを混同し、意図しない方を選んでしまうケースが多発しました。」

この「意図の混同」を防ぐため、開発チームは顧客の真の意図が正しく汲み取れているかを確認するための、2 つ異なる評価器（evaluator）を設計する必要に迫られました。

推論過程の可視化：LangSmith が導いた改善点

エージェントのパフォーマンスを向上させる鍵となったのは、LangSmith の「トレース（trace）」機能です。これにより、エージェントの実行プロセスをステップごとに分解して確認できるようになりました。

単に結果が正しかったか否かだけでなく、「AI がどのように推論し、どのツールを選択しようとしたのか」という思考の過程を可視化できたことが大きかったのです。この詳細な分析を通じて、パフォーマンスを改善するための具体的な変更点を特定し、実装することが可能になりました。

数千件のトレースを解決した「Insights」機能の威力

推論過程の確認は有効でしたが、大規模なスケールにおいて手動で一つひとつトレースを確認するのは現実的ではありませんでした。数千件ものデータを人間がチェックする作業は、まさにボトルネックそのものでした。

ここで活躍したのが LangSmith の「Insights」機能です。この機能を使うことで、開発チームは以下のプロセスを自動化・効率化できました。

1. 自動セグメント化: 数千件のトレースを自動的に分析し、「顧客サポート関連の質問」など、使用ケースごとにグループ分けします。
2. テストケースの生成: セグメント化されたデータから、特定の挙動を引き出すための質問リスト（例：100〜200問）を自動生成します。
3. 検証の実行: 生成したテストケースを実行し、エージェントが意図した通りに動作するかを頻繁に確認できます。

「Insights 機能のおかげで、手動では不可能だった大規模なデバッグを、使用ケースごとに自動的に処理できるようになりました。」

このアプローチにより、複雑なワークフローを持つシステムの実用性を高めつつ、開発スピードも維持することが可能になったのです。

LangChain チームとの「社内チーム」のような連携

技術的な解決策だけでなく、サポート体制についても高い評価が寄せられています。LangChain チームとのコミュニケーションは、外部ベンダーとのやり取りというよりは、「社内の早期チーム（early team）」と協力しているかのような親密さと迅速さがありました。

最適なアプローチについての質問や、開発中に直面した課題に対し、チャットですぐに連絡すれば数分以内に回答が返ってくる体制でした。この迅速なフィードバックループが、困難な局面での意思決定を加速させ、プロジェクトの成功に大きく貢献しています。

まとめ

AskGenie の事例は、大規模な AI エージェント開発において、手動デバッグの限界を打破し、観測プラットフォームの活用がいかに重要かを示しています。特に「Insights」機能による自動セグメント化は、複雑化するシステムの実用性を高めるための必須手法と言えるでしょう。