LangSmith Engine の紹介

![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a021d4bf45444a6bf083a5f_Engine%20Announcement.png) ## 重要なポイント - エージェントの改善ループが自動化されました。LangSmith Engine は、トレーシング（trace）を読み込み、パターンを特定し、修正を行うという手動サイクルに代わり、継続的に実行します。生産環境での失敗を名前付きの問題としてクラスタリングし、コードに対して根本原因を診断し、レビュー用のプルリクエスト（PR）と評価器（evaluator）を作成します。 - 解決されたすべての問題が、評価スイート（eval suite）の強化につながります。Engine が修正を提示する際、カスタムのオンライン評価器も提案し、失敗したトレーシングをオフラインの評価データセットに追加します。これにより、リリース後に同じ失敗が静かに再発することを防ぎます。 - これは既存の LangSmith 設定の上に構築されています。Engine は現在のトレーシングプロジェクト、評価結果、リポジトリに接続され、新たなインフラは不要です。プロジェクトを接続し（必要に応じてリポジトリも接続）、生産環境からの問題を自動的に提示するようになります。 本日、LangSmith Engine の公開ベータ版を開始します。 これまで、エージェントの改善は、トレーシングを読み込み、パターンを探り、評価器を作成し、修正を行うという手動プロセスでした。しかし今や LangSmith Engine がそのループを自動で実行します。Engine は生産環境のトレーシングを監視し、失敗を名前付きの問題としてクラスタリングし、コードに対して根本原因を診断し、再発を防ぐための修正と評価カバレッジを提案します。ユーザーは改善内容を確認してマージするだけです。 LangSmith Engine は本日、公開ベータ版として利用可能です。 [LangSmith Engine を試す](https://smith.langchain.com/) ## すべてのエージェントチームが実行しているループ 典型的なエージェント開発サイクルは以下のようになります: - エージェントのトレースを追跡して、その動作を理解する - 失敗のパターンや機能のギャップを特定する - プロンプト、ツール、ロジック、または構造に変更を加える - 本番環境からのトレースからグランドトゥルース（正解）データセットを作成する - 改善を確認し、回帰がないかチェックするために実験を実行する - 公開して繰り返し実行する LangSmith はすでに、各ステップをサポートするためのトレースビュー、高速なデータセット作成、および実験機能を提供しています。しかし、顧客からは同じような摩擦点が常に報告されていました: - 個々のトレースレビューではパターンが明らかにならないため、何を修正すべきか分からない。 - 大規模なスケールでエラーがどの頻度で再発しているかを確認するのが困難である。 - 本番環境データからオフライン評価用のグランドトゥルース例を作成するのは面倒であり、容易に省略されがちである。 - 一度修正を公開しても、同じ問題が再発生した場合を検出するためのターゲット型評価器が設置されていないことが多い。 Engine はこのループ全体で機能します。チームは優先順位付けされたリストでクラスタ化した失敗を確認し、自動で修正案のドラフトを作成し、テストスイート用のオフライン評価例を提案されます。 ## 実際の課題の例 エージェントがカスタマーサポートボットであると仮定しましょう。Engine は、ユーザーが購読のキャンセルについて質問するトレースのクラスターを検出します。あなたのエージェントは応答しますが、オンライン評価ではその応答が失敗としてスコアリングされ、ユーザーフィードバックも否定的です。レイテンシーは正常であるため、システムアラートは発生していません。 Engine はこれを単一の命名された課題として表面化させます。「エージェントが購読キャンセルリクエストを正確に処理できない」というものです。これにより、重大度（今週のサポートセッションの 12% に影響する高レベル）、タイムライン（4 日前に開始し、直近のデプロイメントと相関あり）、および証拠としての特定のトレースへのリンクが表示されます。 リポジトリが接続されている場合、Engine は関連コードを読み込み、根本原因を特定します。キャンセルツールの説明が曖昧であるため、エージェントはユーザーがオプションについて尋ねている際にさえキャンセルを試みてしまいます。Engine はツールの説明に対するターゲットを絞った修正を含む PR をドラフトします。 今後のこの挙動の追跡を維持するために、Engine はこの特定の課題にスコープを限定したカスタムオンライン評価器を提案します。これにより、修正がリリースされた後に失敗パターンが再発した場合、更新された詳細とともに自動的に課題が表面化されます。 また、Engine は失敗したトレースをオフライン評価スイート用のデータセットに取り込みます。ここでは、正しい出力に含めるべき内容を定義する例ごとの基準が設定されています。本番環境に到達してしまった失敗事例は、それらが再び発生しないようにするためのテストケースとなります。 これが完全なループです。自律的に実行され、レビューのために表面化されます。本番からのシグナルはクラスタ化された課題となり、次に診断された根本原因、提案された修正、そして評価カバレッジへと変換されます。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a0207dd697844f180a75399_langchain-cycle-engine.png) ## Engine が各課題に対して行うこと Engine は表面化させたすべての課題に対して、3 つの解決アクションを提案します。 **PR を作成する。** リポジトリへのアクセス権限がある場合、Engine はターゲットを絞ったコードまたはプロンプトの変更案を作成し、あなたのリポジトリに対してプルリクエスト（PR）として開きます。あなたはレビューしてマージします。 **カスタムオンライン評価器を作成する。** Engine は、特定の課題に限定された評価器を提案します。もしこれが再度発火した場合、その課題は更新された詳細情報とともに自動的に再表面化されます。 **オフライン評価スイートに追加する。** Engine は失敗した本番環境のトレースデータを抽出し、正解例（ground truth examples）からなるデータセットとして取り込み、オフライン評価スイートで実行可能な状態にします。 解決されたすべての課題は、その過程であなたの評価カバレッジを向上させます。修正を確認する際、あなたは将来のパフォーマンスを監視するための評価器も同時に生成していることになります。時間が経つにつれて、すでに解決済みの課題があなたの評価スイートをより包括的なものにし、それによって将来の改善をより堅牢なものにします。 ## Engine の仕組み LangSmith Engine は、トレースデータ、評価フィードバック、および（リポジトリに接続されている場合）エージェントのソースコードにアクセスできるディープエージェントによって駆動されています。 これは、いくつかのシグナルタイプに対してトレースを監視します。明示的なエラー（ツール呼び出しの失敗、タイムアウト）、オンライン評価器の失敗、トレース異常（レイテンシーの急上昇、トークンの爆発、予期しないステップ数）、否定的なユーザーフィードバック、およびエージェントが回答するように構築されていない質問をするユーザーのような異常な行動などです。Engine が複数のトレースにわたってパターンを検出すると、個々の失敗を提示するのではなく、それらを単一の命名された問題としてクラスタリングします。 LangSmith Engine は、LangSmith の既存のトレーシングおよび評価インフラストラクチャの上に構築されています。既存の評価器の結果を入力として使用するため、評価器が検出した失敗は直接問題検出にフィードバックされます。Engine が新しい評価器を提案するのは、現在のカバレッジにギャップを検知した場合です。また、データセットの例を作成する場合は、既存のオフライン評価ワークフローに直接組み込まれます。 ## What customers are seeing Cogent、Harmonic、Campfire などのチームはすでに Engine を使用して、数千件のトレースに影響を与える問題を解決してきました。彼らは回帰をより早期に検出し、修正を迅速にリリースし、トリアージに費やす時間を減らしています。 *これまでに非常に気に入っています。私たちの deepagent のトレースには数十から数百のターンが含まれることがあり、レビューやパターンの特定が退屈な作業になります。LangSmith Engine は、新たな失敗モードを特定するだけでなく、それらを迅速に解決するための評価器やコード変更を積極的に提案することで、チームの調査時間を数時間節約します。 *-Austin Berke, Founding Eng @ Harmonic ## ここでの方向性 エージェントの改善ループは長らく手動で行われてきましたが、私たちはより多くのプロセスを手動トリガーなしで継続的に実行し、よく理解されている問題タイプが人間のレビューなしで解決され、ハネス（検証環境）が時間とともに特定のあなたのエージェントについて賢くなる未来に向けて取り組んでいます。LangSmith Engine はその第一歩です。 ## 始め方 LangSmith Engine は現在、パブリックベータ版として利用可能です。トレーシングプロジェクトを接続し、必要に応じてリポジトリも接続すれば、Engine が自動的に本番環境のトレースから問題を提示し始めます。 [LangSmith Engine を試す](https://smith.langchain.com/) ## 関連コンテンツ ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a021b6ded735b62237ce296_SmithDB%20Announcement.png) LangSmith ## エージェントの観測性を支えるデータレイヤー、SmithDB を構築しました ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69dcedc81683c99062bba702_Ankush.png) Ankush Gola 2026 年 5 月 13 日 11 分 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a0221959e59906540be84d2_Langsmith%20Context%20Hub.png) LangSmith ## LangSmith Context Hub の紹介 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69dcedd2eda55edd2cc8a271_Harrison.png) Harrison Chase 2026 年 5 月 13 日 8 分 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a021dfeef5f4c1962b1afbe_Langsmith%20Sandboxes.png) LangSmith ## LangSmith Sandboxes が一般提供開始 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a049238d738c101a93b1560_Mukhil.jpeg) Mukhil Loganathan 2026 年 5 月 13 日 6 分 ## エージェントが実際に何をしているかを確認する LangSmith は、エージェントエンジニアリングプラットフォームであり、開発者がすべてのエージェントの意思決定をデバッグし、変更の評価を行い、ワンクリックでデプロイできるように支援します。

LangSmith Engine の紹介

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト