Pendo、LangSmithでNovusのユーザー行動からコード修正まで追跡

Pendo の Novus が語る、生成 AI エージェントの「本番環境」での品質保証戦略

製品エージェント「Novus」を開発する Pendo は、従来の試行錯誤型アプローチから脱却し、LangSmith を活用してユーザーの行動データからコード修正までを可視化する手法を確立しました。顧客からのフィードバックを即座に評価セット（Eval Sets）に取り込むことで、本番環境での不具合を 60% の確率で検知する仕組みが完成しています。

ユーザーの「本当の欲求」をトレースダッシュボードで可視化する

Novus は製品のインストールを自動化し、ユーザーが何をクリックしたか、どのファネルを通過したかを追跡して改善提案を行う製品エージェントです。しかし、開発初期段階では「AI が意味のある出力をしているのか」「実際に意図された役割を果たしているのか」を判断するのが極めて困難でした。

「直感で『これは全体的にクールだ』と言うのは簡単ですが、実際に機能しているかどうかを判断するのは非常に困難です。」

この課題を解決したのが LangSmith のトレースダッシュボードです。Pendo は、設計パートナー（Design Partners）一人ひとりに個別にインタビューするのではなく、ダッシュボード上のすべてのトレースデータを分析しました。

その結果、ユーザーが実際に何を求めているか、エージェントがどう応答しているかが定量的に把握できました。7 つの主要なユースケースが浮かび上がった一方で、半分はユーザーの質問にエージェントが対応できていないという事実も明らかになりました。これは、開発者が想定していたユースケースと、顧客が実際に試しているユースケースのギャップを可視化する強力な手段となりました。

顧客フィードバックで「評価セット」を動的に構築する

Novus の品質向上における最大の転換点は、静的なテストセットから「動的な評価セット」への移行です。以前は開発時に仮説を検証するだけで終わってしまいがちでしたが、現在は顧客からのフィードバックや予期せぬ質問を即座に評価セットに追加しています。

毎朝トレースダッシュボードを確認し、以下の 2 つの基準で製品の状態をチェックします。

1. 適切なシグナルとインサイト: 製品データから正しい洞察を引き出せたか？
2. 解決策の提案: ユーザーの問題に対して適切な解決策を提示できたか？

顧客が「Novus でエラーになるサポートされていないユースケース」を問い合わせたり、予想しない回答が返されたりした瞬間、その事例は即座に評価セットに追加されます。これにより、未対応のユースケースへの対応と、既存機能の品質維持を両立させることが可能になりました。

本番環境での「早期検知」で信頼性を劇的に向上

LangSmith のトレースデータを分析する最大のメリットは、顧客が問題に気づく前に不具合を検知できる点です。Pendo は設計パートナー間の類似行動パターンを分析することで、60% のケースで問題を先回りして発見しています。

例えば、「設計パートナー A」が特定の質問をした翌日、「設計パートナー B」が同じ質問をする間隔で、その間に評価セットに追加し、対応するユースケースをサポートします。これにより、スケールした環境でもエージェントの品質が低下しないよう常に維持されています。

「顧客が発見する前に問題を把握できます。スケールでの動作を私たちが確認できるからです。」

観測性が生む「開発」と「運用」の相補性

LangChain は高速に構築できる優れたフレームワークですが、本番環境に導入された後の「何をしているか」「人々が何を求めているか」を把握するには、やはりトレースデータが鍵となります。

Pendo と Novus の関係性を紐解くと、明確な相補性が浮かび上がります。Novus が製品自体に計測機能を備え、時間の経過とともに製品を改善する方法を示すなら、LangSmith はエージェントに計測機能を備え、時間の経過とともにエージェントを改善する方法を示します。

このケーススタディは、生成 AI エージェントの導入において、「開発時の仮説検証」から「本番環境でのデータ駆動型改善」へとパラダイムシフトする重要性を浮き彫りにしました。LangSmith などの観測性ツールを評価プロセスに統合することで、AI プロダクトのスケーラビリティと信頼性を劇的に向上させる標準的なプラクティスが確立されたのです。

Pendo の Novus が示したように、AI エージェントの真価は開発時のコードではなく、本番環境でユーザーと共に育まれるデータの中にあります。顧客の声に耳を傾け、それを即座にシステムへフィードバックするサイクルこそが、信頼できる AI プロダクトへの最短ルートなのです。