Pendo が LangSmith を活用し、ユーザー行動からコード修正までを追跡する Novus の仕組み

*ゲスト投稿：Zain Lakhani氏（Pendo 首席 AI オフィサー）* Novus は、ライブアプリケーション内の使いやすさの問題を検出し、根本的なコードを修正し、ユーザーエクスペリエンスを向上させるプロダクトエージェントです。PM がレビューした評価において**90% 以上の成功率**を達成しており、数ヶ月ではなく数日で本番環境への展開を実現しました。この両方を可能にした核心的な理由の一つが LangSmith です。 ## AI コーディングツールは出荷速度を加速させたが、製品フィードバックループを見捨てた 従来の私たちのユーザーは、ダッシュボードを確認し、ユーザーと対話し、発見に基づいて PRD（製品要件定義書）を作成するプロダクトマネージャーでした。しかし現在では、毎日コードをリリースするプロダクトエンジニアとなっています。既存のプラットフォームはこの速度には対応していませんでした。 市場の誰もが、人々を開発者になることを可能にすることに注力しています。AI コーディングツールを活用してチームが一度に 4 つのチケットを処理できるように支援し、「コーディングと出荷」の問題を実質的に解決しようとしています。その結果生じる速度は、エンドツーエンドのプロダクトライフサイクルの後半部分、つまり開発者とプロダクトマネージャーという不可欠な組み合わせを見落としています。開発者は迅速に出荷しますが、PM はフィードバックを収集し、何を改善すべきかの文脈を提供し、開発者は引き続き出荷を続けます。 その結果、フィードバックループが分断されてしまいました。以前は一般的だったユーザー受入テストを経ずにコードが生産環境にリリースされます。その結果、多くのリリース物が使いにくく、採用率や維持率の目標達成に苦労するソフトウェアとなっています。 Novus は完全なサイクルを閉じるために存在します。あなたが何かをリリースし、ユーザーが struggling しているとき、私たちはすぐにそれを修正します。スピードを維持しましょう——問題になる前に検知して対応します。 ## Novus は製品分析とセッション再生をコード修正に変える ユーザーは自分のコードベースをリンクし、すべてのユーザークリックを監視しセッション再生を記録する Novus のスニペットをインストールします。Novus はこの行動データを集約し、AI を使用して解釈することで、継続的に具体的で実行可能な課題を浮き彫りにします。例えば、「1 日に千回の訪問があるページで、チェックアウトから注文確認へのファネル転換率が 3% 低下していることを検知しました」といった具合です。 エージェントの知能は、エンドツーエンドの分析にあります：セッション再生を使用して根本原因（例えば、怒りクリックの特定など）を診断し、その行動が関与する特定のコードファイルと相関付け、提案された修正を生成します。 このサイクルには多くの要素が絡み合っています。何か問題が発生したとき（ツール呼び出しが予期しないデータを返す、サブエージェントが逸脱する、プロンプトの変更により出力品質が低下するなど）、何が起きたのかを正確に把握する必要があります。そのため、Novus における Claude Agent SDK の統合の一環として、LangSmith のトレーシング機能を本番環境へ展開しました。現在、これはシステムがどのように動作するかを理解するための主要な窓となっています。 ## LangSmith は本番環境で Novus をデバッグする LangSmith は、最初の設計パートナーとの会話から本番環境に至るまで、私たちのエージェントの観測プラットフォームとして機能してきました。Novus が成熟するにつれて注目すべき点は変化しましたが、LangSmith は一貫した基盤であり続けています。 ## Traces showed how users interacted with Novus and which use cases to prioritize 設計パートナーフェーズの間、私たちは LangSmith のトレースビューの中で生活していました。毎朝、まず最初にそれを開き、個々の会話を読み込みました——人々がエージェントに何を尋ねたか、それがどのように応答したか——そしてそれによって使用ケースを選別しました。私たちが読んだのは、推測や潜在的な誤った仮定なしに、本番環境から直接得られた実際のユーザーの行動です。時が経つにつれて、これらの使用ケースはオープンベータ版で出荷された提案プロンプトとなり、その後、評価セットの骨格となりました。 本番環境では、トレースは依然として明白な役割を果たしています。すべての実行で完全なトレースツリー（入力、出力、ツール呼び出し、サブエージェントの呼び出し、トークン数、コストデータ）が生成されるため、顧客から生成された PR が適切な課題に対応していなかったと指摘された場合、トレースを呼び出して、エージェントが行ったすべての決定を追跡します。ネスト構造はエージェントの構成方法にマップしているため、推論ステップでどこが間違っていたかを直感的に見ることができます。 ## LangSmith traces showed when Novus used analytics or code context, instead of both 私たちは非常に早い段階で、トレースを見守ることで、エージェントが製品分析データとコードベースのコンテキストのどちらか一方を考慮する選択をしているが、両方を同時に考慮することは極めて稀であることを発見しました。これを LangSmith で早期に検知し、Novus の真価はこれら 2 つを組み合わせることにあることをより明確にするようプロンプトを調整しました。製品分析データまたはコードベースのコンテキストのみに依存することは、私たちが Novus 以前の時代に戻ってしまうことを意味します。 ## 結果 - 新しいユースケースの特定と評価に要する時間が、以前の製品と比較して 25% 削減されました。 - AI に起因する問題のうち、60% が顧客から報告される前にトレーシング（追跡）機能によって検出されています。 ## Novus は、観察速度よりも速く製品をリリースするチームのために設計されています Novus は製品エンジニア向けに構築されたものです。つまり、製品のリリース速度と利用状況の両方に対して責任を持つチームを対象としています。AI によるコーディングツールがアイデアから本番環境への移行時間をさらに圧縮するにつれて、デプロイされたものと理解されているものの間のギャップは拡大していく一方です。私たちの役割は、ユーザーセッションから数分以内にそのギャップを自動的に埋めることです。 *Pendo は、企業がユーザーの行動を理解し、製品の採用を促進するための製品分析を提供します。*[Novus](https://www.pendo.io/)*は、Pendo の製品エージェントであり、使いやすさの問題を自動的に検出し、根本的なコードを修正し、ユーザー体験を改善することで、行動データとより良いソフトウェアの間のループを閉じます。*

Pendo が LangSmith を活用し、ユーザー行動からコード修正までを追跡する Novus の仕組み

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト