動画記事 · LangChain
Pendo、LangSmithでNovusのユーザー行動からコード修正まで追跡
LangChain動画 3分 / 読む 6分
#AI エージェント#LangSmith#Pendo#評価セット#観測性
動画の文字起こしと公開情報をもとにAIで要約・構成しています。 正確な発言は元動画と時間位置で確認してください。
30秒でわかる
Pendo の AI オフィサーが、LangSmith を活用して Novus エージェントのユーザー行動追跡と評価セット構築による製品改善プロセスを解説。
この動画の3ポイント
ユーザー行動の可視化
LangSmith のトレースダッシュボードを活用し、ユーザーが実際に何を求めているか、エージェントがどう応答しているかを定量的に把握する。
評価セットの動的構築
顧客からのフィードバックや予期せぬ質問を即座に評価セットに追加し、未対応ユースケースへの対応と既存機能の品質維持を両立させる。
本番環境での早期検知
設計パートナー間の類似行動パターンを分析することで、顧客が問題に気づく前に 60% の不具合を検出し、プロダクトの信頼性を高める。
なぜ重要か
このケーススタディは、生成 AI エージェントの導入において「開発時の仮説検証」から「本番環境でのデータ駆動型改善」へパラダイムシフトする重要性を示しています。LangSmith などの観測性ツールを評価プロセスに統合することで、AI プロダクトのスケーラビリティと信頼性を劇的に向上させる標準的なプラクティスが確立されます。
発言から確かめる
時間を選ぶと、元動画の該当箇所を開きます。
背景や実装の詳細まで読みますか？
約3分の動画を、約6分の記事で確認できます。
Original Source
元動画で発言を確認
プレイヤーは必要になるまで読み込みません。YouTubeのCookieと通信も再生を選ぶまで開始しません。