エージェント改善ループにおける人間の判断

![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/76.png)By Rahul Verma, Deployed Engineer @ LangChain AIエージェントは、あなたのチームが時間をかけて築き上げてきた知識と判断力を反映するときに最も効果的に機能します。その一部はすでに文書化された組織的知識であり、エージェントがそのまま使用するのは容易です。しかし、ほとんどの優れた組織は、従業員の頭の中にある暗黙知にも依存しています。チームは、有意義な仕事を遂行するためにその情報がいかに重要であるかを、AIエージェントを構築して自動化しようとするまでしばしば認識していません。この知恵をエージェントに組み込むためには、ドメインエキスパートからの入力を取り込む改善ループが必要です。 このガイドでは、以下の内容を扱います： あなたのエージェントのどのコンポーネントが人間の判断を取り込むことで恩恵を受けるか 開発ライフサイクルの各段階で、どのように人間の判断をエージェントに組み込むか 実例に基づく例：トレーダー向けコパイロット 金融サービス企業を想像してください。そのトレーダーは最新の市場データを必要としています。現在、彼らは質問をデータサイエンスチームに送ります。データサイエンティストはSQLクエリを書き、関連データを取得し、結果を返送します。LLM（大規模言語モデル）はSQL生成に優れているため、このワークフローはAIエージェントで自動化する自然な候補です：トレーダーはより速い応答を得られ、データサイエンティストはより興味深いプロジェクトに自由に取り組めます。 このシステムが確実に機能するためには、エージェントは金融サービスドメインレベルと技術的データベースレイヤーの両方でコンテキストを必要とします。前者には、「今日のエクスポージャー」や「最近のボラティリティ」といったリクエストをどのように解釈するかを決定する、文書化されていない取引の慣習が含まれます。後者には、どのテーブルが信頼できるものか古いものか、どのクエリパターンが誤りがちまたは非効率になりがちかといった、データベースに関する実用的な知識が含まれます。エージェントが必要とするすべての文書化されていないコンテキストを含めるために、適切な主題専門家と協力する必要があります。 このガイド全体を通じて、具体的な実装例を示すためにこの例を使用します。これは、アーキテクチャがシンプルであり、エージェント設計に人間の判断を関与させるための重要な原則を示す良い例です。 人間の判断で改善できるエージェントのさまざまなコンポーネントを確認しましょう。 人間の入力がAIエージェントの各コンポーネントをどのように改善するか エージェントを構築するとは、いつLLMを呼び出すかを決定し、望ましい結果を達成するために各呼び出しで提供するコンテキスト（例：ドキュメント、メモリ、会話履歴、ツール）を管理することを意味します。これらの設計上の選択はそれぞれ、適切なステークホルダーからの入力によって恩恵を受けます。 ワークフロー設計 今日のLLMは、自身のアクションを順序立てることに優れています。いくつかのツールと自然言語の指示を与えるだけで、どのツールをどの順序で呼び出すかを理解します。しかし、ワークフローの一部を決定論的なコードで定義することには利点があります：レイテンシの低下、トークン数の削減、重要なステップが実際に実行される保証です。一部の規制や高リスクの設定では、アクションの順序を厳密に制御するためにコードが必要です。私たちのトレーダーコパイロットでは、LLMが自律的にSQLクエリを生成して実行することを許可しますが、最終的な回答が当社のリスクとコンプライアンス要件を満たしていることを検証するコードを追加してから、トレーダーに返送します。当社の基準を強制する自動チェックを作成するには、リスクとコンプライアンスの専門家からの入力が必要です。また、その情報をエージェントの事前読み込みコンテキストに含めることで、最初の試行で有効な回答を作成する確率を高めることができます。 ツール設計 開発者は、エージェントが使用できるツールを実装し、LLMがいつ呼び出すかを決定する際に依存する名前、パラメータ、説明を設定する必要があります。ワークフローの異なる段階で利用可能なツールを変えることがしばしば有用です。単一のLLM呼び出しに対するツールセットを制限することで、モデルを意図した動作に導き、無関係なオプションを選択する可能性を減らすことができます。 私たちのコパイロットのツールには、データベーススキーマ検査、クエリ実行、データベースドキュメント取得が含まれるかもしれません。重要なトレードオフは、LLM生成クエリの柔軟性と制御です：一般的なexecute_sqlステップは柔軟なクエリを可能にしますがリスクを増加させます。パラメータ化されたクエリツールはより安全ですが能力が低くなります。ビジネス制約を詳細にレビューすることで、どのオプションが適しているかの感覚を得られるかもしれませんが、確実に知るためには、ツール設計のパフォーマンスとリスク特性を決定する評価を実行し、すべてのステークホルダーが結果に満足したときにのみリリースする必要があります。 エージェントコンテキスト 初期のエージェントは、モデルに単一のシステムプロンプトと一連のツール定義を与えるだけでした。時間の経過とともに、業界はエージェントの実行開始時にはるかに豊富なコンテキストを提供する方向に移行しています。10月にローンチされて以来急速に人気を集めている標準であるAnthropicのSkillsは、この傾向の顕著な例の一つです。 すべてを一つのシステムプロンプトに詰め込む代わりに、あなたのチームは事前にドキュメント、例、ドメインルールをキュレーションし、エージェントが必要なものを実行時に取得できるようにします。これにより、エージェントはシステムプロンプトを肥大化させることなく、はるかに多くの知識を使用できます。効果的なエージェント設計には、エージェントがアクセスすべき知識を決定し、エージェントが適切な瞬間に適切な情報を取得できるように整理することが含まれます。 少なくとも、私たちのトレーダーコパイロットは、データベースの使用方法とそのスキーマを理解する必要があります。私たちのコパイロットが必要とするチームからの追加知識の性質と量に応じて、その知識を収集するだけでなく、それをどのように構造化し、段階的にエージェントに開示するかを決定する時間を費やす必要があります。 エージェントが起動時に利用可能な情報を選択し構造化することは、コンテキストエンジニアリングの分野の一部です。コンテキストエンジニアリングはまた、エージェントがタスクを進めるにつれて、各LLM呼び出しで提供する情報がどのように進化するかもカバーします。人間のステークホルダーがエージェントの出力と評価スコアをレビューする際に提供するフィードバックは、エージェントのエンドツーエンドのコンテキストエンジニアリングにどのようにアプローチするかに影響を与えるかもしれません。 人間の判断で恩恵を受けるエージェントの部分を概説したので、その人間の入力を収集する方法を扱います。 エージェント改善ループへの人間の判断の組み込み LangChainでは、AIエージェントをデプロイする何百もの組織と協力してきました。最も成功しているチームは、厳密な反復ループに従います：彼らは迅速にエージェントを構築し、本番または本番類似環境にデプロイし、各ステップでデータを収集して改善を導きます。これを「エージェント改善ループ」と呼びます。なぜなら、最も成功しているエージェントのほとんどがこのループを複数回通過しており、以前にここでより詳細に扱ったからです。 迅速かつ頻繁に反復することが重要です。なぜなら、エージェントの動作を決定するのはコードではなく、LLMのリアルタイム推論だからです。AIエージェントが何をするかは、実行するまでわかりません。AIエージェントインターフェースはしばしば自由形式です（例：ユーザーが何でも入力できるテキストボックス）。これにより、ユーザーとエージェントの間の相互作用がどのように見えるかを予測することはさらに困難になります。エージェントをユーザーの前に置くことが、最終的に成功させるために必要なデータを収集する唯一の方法です。 ![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/agent-improvement-loop.png)人間の入力を効果的に組み込む方法について議論しながら、フライホイールの以下のフェーズを順を追って説明します： エージェントの最初のバージョンの実装 エージェントが稼働した後の監視と、それを洗練するための本番データの収集 改善されたエージェントバージョンの実装とテスト 詳細に入る前に、開発ライフサイクル全体に適用される原則を強調する価値があります。 人間の時間投資に対する高いリターンの鍵：人間の判断に沿った自動評価 人間が大量のエージェント出力を手動でレビューするのではなく、自動評価器の設計と調整を支援するときに、チームはより多くのレバレッジを得ることを観察しました。あなたのチームがどれだけ大きくても、どれだけリソースが豊富でも、広範な手動レビューに依存することは経済的であることはめったにありません。スケーラブルなアプローチは、専門家の判断を自動評価に変換し、広範かつ継続的にテストできるようにすることです。それがLangSmithのAlign Evaluator機能が支援することです。それは、キュレーションされた例と主題専門家からのフィードバックを使用して、LLM-as-a-judge評価器を調整するためのユーザーインターフェースを提供します。非開発者ステークホルダーの判断を模倣することを意図した評価器には、この機能を使用することをお勧めします。 ![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/image6.png)LLM-as-a-judgeプロフェッショナリズム評価器を検証するためにLangSmithのAlign Evaluator機能を使用。評価器は現在、人間の判定者よりも厳格なので、より寛容にするためにシステムプロンプトを変更する必要があります。仮想の取引会社の視点から、改善ループの各フェーズを通じてトレーダーコパイロットを追いましょう。人間の入力を効果的に組み込む方法、特にその入力を自動評価にどのように導くかを見ていきます。 開発：テストスイートと評価器のキュレーション 開発が開始される前に、エンジニアはプロジェクト要件の一部として、少なくとも小さなユースケースシナリオと期待される動作を持っているべきです。これらの初期テストは、エージェントがコアタスクを正しく実行することを確認するのに役立ちます。エージェントが本番準備に近づくにつれて、エンジニアはプロダクトマネージャーや主題専門家と協力して、全体的な動作と主要なサブコンポーネントの両方を評価するより包括的なテストスイートを構築する必要があります。 私たちのコパイロット（copilot）については、LangSmithのデータセット機能を使用して、自然言語の質問とその正しい回答をペアにしたグラウンドトゥルース（ground truth）データセットを手動で作成します。また、私たちのデータベースの文脈において、適切で高性能なSQLがどのようなものかの例を含むデータセットも作成します。開発者がエージェントを構築する際には、LangSmithの評価（evaluations）機能を使用して、それらのデータセットに対してテストを実行します。LangSmithのUIにより、技術系と非技術系のチームメンバーが評価結果をレビューし、注釈（annotate）を付けることができ、全員が開発者の次のステップについて合意できるようになります。 このフェーズでは、手動テスト中に遭遇した興味深いケースから着想を得た例で初期データセットを拡張することで、ミニ・フライホイール（flywheel）を作成できます。これにより、フィードバックループの自動化を段階的に進め、エージェントのバージョン1（v1）を出荷する準備が整う頃には包括的なテストスイート（test suite）を確実に持つことができます。 ![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/image4.png)私たちのエージェントの出力をグラウンドトゥルース（ground truth）データセットと比較しています - ここではかなり良い結果を示していますが、まだ改善の余地があります。 デプロイ後: 自動評価とモニタリングを使用して、人間の注目を最も必要とする場所に向ける エージェントが稼働したら、その信頼性を確保し、問題や改善の機会を迅速に特定する必要があります。ユーザーエクスペリエンスを検証する従来の方法は、満足度調査とユーザーインタビューですが、このアプローチの欠点は、ユーザーが実際に行うことではなく、ユーザーがあなたに伝えることを測定することです。LLM-as-a-judge（LLMを裁判官として）評価システムは、はるかに堅牢な方法を提供します。本番（production）データで実行される自動評価（automated evaluations）は、エージェントを監視し、人間の注目を必要とする状況を浮き彫りにするのに役立ちます。例えば、LLM裁判官（LLM judge）は、ユーザーが不満を表明したときに自動的に検出し、それらのやり取りをレビュー対象としてフラグを立てることができます。その後、チームメンバーがトレース（trace）を調査し、問題がバグ、エージェントの知識のギャップ、またはワークフローの弱点のいずれを反映しているかを判断できます。 デモトレーダーアプリをチェックして、注釈キュー（annotation queues）を設定してください。 ![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/image3.png)LangSmithでLLM-as-a-judge（LLMを裁判官として）オンライン評価システム（online evaluator）を作成し、ユーザーが不満を表明したメッセージを検出しています。 私たちの仮想企業は、まずLangSmithトレーシング（tracing）を設定して、エージェントとトレーダー間のすべてのやり取りをキャプチャします。次に、以下のためにLangSmithのオートメーション（automations）機能を設定します: オンライン評価（Online evaluations）: 観測可能性（observability）データが入ってくる際に評価システムを実行するようLangSmithを設定します。例えば、遅いまたは危険なSQLクエリに対する自動コードチェックと、コパイロット（copilot）が提供する回答にユーザーが満足を表明しているかどうかを確認するLLM-as-a-judge（LLMを裁判官として）評価システムによる会話のレビューが必要になります。 アラート（Alerts）: エラー、レイテンシ（latency）、または否定的なオンライン評価スコアの急増を検知した場合、LangSmithは既存のアラートシステムをトリガーし、チームが根本的な問題を迅速に修正できるようにします。 注釈キュー（Annotation queues）: 注目すべきトレース（traces）にフラグを立ててLangSmithの注釈キュー（annotation queue）に送信し、人間によるレビューを行います。キューでは、主題専門家（subject matter experts）が、オンライン評価システム（online evaluator）が非常に否定的なフィードバックスコアを返したケースをレビューし、エージェントに何か問題があることを示します。境界線上のフィードバックスコアは、評価システム自体を調整する必要があることを示唆します。LangSmithは注釈キューを通じて提出されたフィードバックを保存するため、将来の自動および手動分析に利用できます。 ![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/image2.png)LangSmithのダッシュボード（dashboards）は、エージェントに関する集計されたメトリクス（aggregated metrics）を表示し、チームが期待通りに継続して動作していることを確認できるようにします。 インサイトエージェント（Insights Agent）: トレーシングデータから価値を引き出すもう一つの方法 ライブ動作の非構造化探索は、AIエージェントにとって最も価値のある改善の一部を生み出します。これをサポートするため、LangSmithはインサイトエージェント（Insights Agent）を提供します。これは、最小限のユーザー設定で大量のトレーシングデータを分析する組み込みのAIエージェントです。個々のトレース（traces）や決定論的評価（deterministic evaluations）からは明らかにならない、エージェントの動作におけるパターンや傾向を浮き彫りにします。最終的には人間のステークホルダー（stakeholders）がインサイトレポート（insights report）をレビューして次のステップについて合意する必要がありますが、この機能はプロセスを迅速に開始します。 私たちのトレーディングコパイロット（trading copilot）の場合、類似の会話を自動的に識別し、ユースケースカテゴリにクラスタリング（clustering）するインサイトレポート（insights report）を実行するかもしれません。トレーダーがコパイロットに尋ねる質問の背後にある基本的なテーマを把握することで、特に確実にサポートすべきユースケースや、それらのユースケースに対してトレーダーにより良いサービスを提供する将来の製品追加を特定するのに役立ちます。 自動評価（automated evaluations）、人間による注釈（human annotations）、集計レベルのインサイト（aggregate-level insights）が蓄積されるにつれて、エージェントが実世界でどのように動作するかの明確な全体像が提供されます。これらの学びは、エージェントの次のバージョンを構築することで反復ループ（iteration loop）を再開するというサイクルの最終ステップにフィードバックされます。 ![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/image1.png)LangSmithインサイトエージェント（Insights Agent）は、データ内の隠れたパターンを浮き彫りにするレポートを生成します。 継続的な洗練: 今日の本番データを明日のテストスイートに変える エージェントの最初のバージョンを構築するとき、評価スイート（evaluation suite）は、それが動作することを検証するために必要なテストについて、せいぜい推測に基づいたものです。ローンチ後、はるかに優れたテストケースの源、つまり実際の本番（production）データにアクセスできるようになります。 このデータを、包括的であるが不必要に大きくないテストスイート（test suites）に精選（curate）する必要があります。自動システムは、例えば、評価システムの結果に基づいて本番トレース（production traces）をフィルタリングすることで、候補データセットを生成するのに役立ちます。しかし、バランスの取れた代表的な評価セット（evaluation sets）を精選するには、しばしば人間の判断が必要です。注意深く選択された数百の例だけで実行される評価も有用であり得るため、どの例がテストスイートを定義すべきかを決定する際に専門家を関与させる価値があります。 私たちの仮想トレーディング企業がコパイロット（copilot）を本番環境でしばらく実行した後、チームは実際のSQLクエリとチャットボットの会話、およびモニタリングと精選された注釈キュー（curated annotation queues）を通じて収集されたオンライン評価システムの結果と人間の意見にアクセスできるようになります。 私たちのチームは、レビュー済みのトレース（traces）からデータセットを作成し、より堅牢な評価スイート（suite of evaluations）を実行することで、バージョン2（v2）以降のエージェントのパフォーマンスを大幅に改善できます。私たちが精選できる最も有用なデータセットの一つは、「ゴールデンデータセット（golden dataset）」であり、これまでのコパイロットの最高の成果の例で構成され、将来のバージョンが少なくとも同様に動作することを保証するためのベースライン（baseline）として使用できます。LangSmithはこれを簡単にまとめることを可能にします。オンライン評価システムスコア（online evaluator scores）を使用して候補トレース（candidate traces）を特定し、それらを注釈キュー（annotation queue）に入れて、主題専門家（subject matter experts）が実際にゴールデンデータセットに属するものを決定できるようにします。 ![image](https://storage.ghost.io/c/97/88/97889716-a759-46f4-b63f-4f5c46a13333/content/images/2026/04/image7.png)LangSmithの注釈キュー（annotation queue）を使用して、LLM裁判官（LLM judge）が高品質とマークしたチャットボットからのトレース（traces）をレビューし、それらが本当に私たちのゴールデンデータセットに属するかどうかを決定しています。 結論 効果的なエージェント開発は、人間の判断と自動評価の拡張性を組み合わせます。人間の専門知識は、ワークフロー、ツール、コンテキスト、評価基準を形成することで、「良い」状態がどのように見えるかを定義するのに役立ちます。自動評価システム（automated evaluators）は、その判断を大規模に適用し、チームがエージェントを迅速にテストし、本番環境での動作を監視し、人間の注目を最も重要なケースに向けるのを支援します。 時間の経過とともに、これはフライホイール（flywheel）を生み出します。人間のフィードバックは評価システム、テストスイート、およびエージェント自体を改善し、私たちがデプロイする改善されたエージェントは、それを改善する方法を教えてくれるより多くのデータをもたらし、これらのインサイトが次の開発イテレーション（development iteration）を推進します。 私たちはこのプロセスを説明するために単純なユースケースを使用しましたが、同じ原則はあらゆるエージェントの構築に適用されます: 緊密な反復ループ（iteration loops）を構築し、拡張可能な評価に専門家の判断を組み込み、継続的に本番データをより良いテストに変えます。これは、あなたのビジネスに意味のある価値を生み出すAIエージェントを作成するための鍵です。

エージェント改善ループにおける人間の判断

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト