抽出機能のベンチマーク評価

2 週間前、私たちは [langchain-benchmarks](https://github.com/langchain-ai/langchain-benchmarks?ref=blog.langchain.com) パッケージをリリースし、LangChain ドキュメントを対象とした Q&A データセットも公開しました。本日、チャットログから正しい構造化情報を推論する LLM の能力を測定する新しい [extraction dataset](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d?ref=blog.langchain.com) を公開します。 この新しいデータセットは、構造化されていないテキストの分類や、機械可読な情報の生成、また混乱を招く情報の中で複数のタスクに推論を行うなど、LLM アプリケーション開発における一般的な課題を実践的な環境でテストできる場を提供します。 本稿の後半では、このデータセットの作成プロセスと初期ベンチマーク結果について解説します。会話型アプリケーションの開発においてお役に立てれば幸いです。また、皆様からのフィードバックを心よりお待ちしています！ ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbb0a3394beb695265a519_model_comparisons-3.png) 主要指標の比較 ## データセット作成の動機 私たちは、チャットボットのやり取りから構造化された洞察を引き出すという実世界の課題を軸に、データセットのスキーマを設計しました。 夏の間、優秀なインターンの [Molly](https://twitter.com/mollycantillon?ref=blog.langchain.com) が、LangChain の Python ドキュメントを対象とした検索拡張生成（RAG: retrieval-augmented generation）アプリケーションである [Chat LangChain](https://chat.langchain.com/?ref=blog.langchain.com) ([リポジトリ](https://github.com/langchain-ai/chat-langchain?ref=blog.langchain.com)) の刷新を手伝ってくれました。これは「検索エンジン付きの LLM」のようなもので、「エージェントにメモリを追加するにはどうすればよいですか？」といった質問をすると、ドキュメント内で見つかった情報に基づいて回答を返してくれます。 [このような](https://templates.langchain.com/?integration_name=rag-conversation&ref=blog.langchain.com) [プロジェクト](https://github.com/langchain-ai/weblangchain?ref=blog.langchain.com) の真の試練は、デプロイ後に始まります。そこで実際にどのように利用されているかを観察し、さらに改善を繰り返すことになります。通常、ユーザーが明示的なフィードバックを提供することは稀ですが、その会話内容からは多くのことが読み取れます。単に「[ログを LLM に放り込んで](https://docs.smith.langchain.com/tracing/use-cases/summarize-usage?ref=blog.langchain.com) 要約する」ことを試すこともできますが、構造化されたコンテンツを抽出して監視・分析を行うことでも大きなメリットを得られるケースが多々あります。これにより、従来のソフトウェアで容易に利用可能な構造化値を活用した分析ダッシュボードの構築や、ファインチューニング用のデータ収集パイプラインの強化につなげることができます。 「Chat Extraction」データセットは、現在の LLM（大規模言語モデル）群が、この種のデータから関連情報を抽出し分類する能力をいかによくテストできるかを設計したものです。次のセクションでは、どのようにしてこのデータセットを作成したかを紹介していきます。結果だけを見たい場合は、以下の要約グラフをご覧ください。結果の分析については、実験セクションへ直接お進みください。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbb0a3394beb695265a51c_image-3.png) ベンチマーク結果のスクリーンショット ## データセットの作成 データセットを作成する主な手順は以下の通りです： - 構造化された出力を表現するためのデータモデルを決定する。 - Q&A ペアでシードする。 - LLM を使用して候補回答を生成する。 - アノテーションキュー内で結果を手動レビューし、必要に応じてタクソノミーを更新する。 LangChain は長年、初期データのブートストラップに役立つ [合成](https://python.langchain.com/docs/use_cases/data_generation?ref=blog.langchain.com) データセット [生成](https://github.com/langchain-ai/langchain/blob/700428593a86531ae0c891096c0d02aabcbc72af/libs/langchain/langchain/chains/qa_generation/base.py?ref=blog.langchain.com#L17) ユーティリティを提供してきましたが、最終版では常に適切な品質を確保するために何らかの人間によるレビューを含める必要があります。そのため、LangSmith に [データアノテーションキュー](https://blog.langchain.com/announcing-data-annotation-queue/) を追加し、データのフライホイール構築を支援するためのツールリングの改善を続けていきます。 初期データセットが整ったら、ラベル付きデータをシード生成モデル内のフューショット例として使用して、人間によるレビューのために提供されるデータの品質を向上させることができます。これにより、グラウンドトゥルースを更新する際に必要な作業量や変更量を削減できます。 ## 評価 このベンチマークは構造と分類に焦点を当てているため、[LLM-as-a-judge](https://www.langchain.com/resources/llm-as-a-judge) の指標を使用する必要はありません。代わりに、カスタムの LangSmith 評価器を作成しました（詳細は [こちら](https://github.com/langchain-ai/langchain-benchmarks/blob/4ddbbc0ff87fb4dfac3cb457dba56e64d8cbc9c6/langchain_benchmarks/extraction/tasks/chat_extraction/evaluators.py?ref=blog.langchain.com#L1) のコード定義を参照）。以下に測定項目を示します： - Structure verificationjson_schema : 正しい場合は1、そうでない場合は0。タスクのスキーマを用いて、各モデルから解析された出力を検証します。 - Classification tasksquestion_category: 25 の有効な列挙値全体における分類精度。 - off_topic_similarity: LLM がその質問をトピック外とみなしたかどうかの二値分類精度。 - toxicity_similarity: ユーザー質問の「毒性」レベル予測値の正規化された差分。 - programming_language_similarity - ユーザーの質問が参照するプログラミング言語の予測値の分類精度。多くの場合、これは「不明」となります。 - confidence_level_similarity - 応答の予測される「自信度」とラベル付けされた自信度の間の正規化された類似度。 - sentiment_similarity - 予測値とラベル値の正規化された差分。感情は負/中立/正に対してそれぞれ0/1/2 でスコアリングされます。 - Overall differencejson_edit_distance: これは実質的に包括的な指標であり、まず予測された JSON とラベル付けされた JSON を標準化した上で、両者のシリアライズ形式間の Damerau-Levenshtein 文字列距離を計算します。 ## Experiments このデータセットを作成するにあたり、私たちはいくつかの問いに答えようと考えました： - 最も人気のあるクローズドソースのLLM（大規模言語モデル）はどのように比較されるのか？ - オフザ shelf のオープンソース LLM は、クローズドソースモデルと比較してどの程度パフォーマンスを発揮するのか？ - シンプルなプロンプト戦略は、抽出性能を向上させるのにどれほど効果的なのか？ - 有効なレコードを出力するようにLLMの文法を制御した場合、個々の分類指標に対してこれはどの程度の重要性を持つのか？ 以下のLLMを評価しました： - gpt-4-1106-preview: GPT-4 の最近の長文脈対応・圧縮版。 - claude-2: Anthropic 製のLLM。 - llama-v2-34b-code-instruct: 命令データセットでファインチューニングされた、Code Llama 2 のパラメータ数 340 億（34b）のバリアント。 - llama-v2-chat-70b: チャット用にファインチューニングされた、Llama 2 のパラメータ数 700 億（70b）のバリアント。 - yi-34b-200k-capybara: Nous Research 製の、パラメータ数 340 億（34b）のモデル。 ## 実験 1：GPT vs. Claude まず、クローズドソースのLLMであるClaude-2とGPT-4を比較しました。GPT-4については、JSONスキーマを提供してそれを埋め込ませるツール呼び出しAPI（tool-calling API）を使用しました。Anthropic はまだ同様のツール呼び出しAPI をリリースしていないため、スキーマを指定する 2 つの異なる方法をテストしました： - JSON スキーマとして直接指定。 - XSD（XML スキーマ定義）として指定。 個々の予測結果は [リンクされたテスト](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=dc7656d8-00ef-4048-9ce5-38ef72af593c%2C3f590999-a9d1-48be-83dd-e84acb99a195%2C0c022691-a7ac-4545-b2bc-58aab2d476e8&ref=blog.langchain.com) で並べて確認できます。また、以下の要約グラフと表もご覧ください： GPT-4 と Claude の比較 テスト 信頼度レベルの類似性 JSON 編集距離 JSON スキーマ トピック外類似性 プログラミング言語の類似性 質問カテゴリ 感情の類似性 毒性の類似性 [claude-2-xsd-to-xml-5689](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=dc7656d8-00ef-4048-9ce5-38ef72af593c&ref=blog.langchain.com) 0.97 0.39 0.52 0.00 0.52 0.37 0.91 1.0 [claude-2-json-schema-to-xml-5689](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=3f590999-a9d1-48be-83dd-e84acb99a195&ref=blog.langchain.com) 0.97 0.37 0.78 0.00 0.44 0.48 0.93 1.0 [gpt-4-1106-preview-5689](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=0c022691-a7ac-4545-b2bc-58aab2d476e8&ref=blog.langchain.com) 0.94 0.28 1.00 0.89 0.59 0.56 1.00 0.0 予想通り、GPT-4 はほぼすべての指標でより良いパフォーマンスを示しました。一方、Claude に対しては、一度の試行で望ましいスキーマを完全に出力させることはできませんでした。興味深いことに、JSON スキーマ（JSON schema）を使用してプロンプトされた Claude モデルの方が、同じ情報を XSD（XML スキーマ）形式で提供した場合よりもわずかに良い結果を示しました。これは少なくともこのケースにおいては、スキーマの一貫したフォーマットがそれほど重要ではないことを示唆しています。 いくつかの共通するスキーマの問題が見て取れます。例えば、[このラン](https://smith.langchain.com/public/ad7ec13a-2e10-45f8-8e4f-9e46ca4c6595/r/7b340495-8a08-4805-81d7-a28050c94a97?ref=blog.langchain.com) と [このラン](https://smith.langchain.com/public/ab543c3f-894d-4d30-aba4-5a3629a76d23/r/0c99e258-afd4-4b61-9d33-63e07927edc3?ref=blog.langchain.com) では、モデルがフォローアップアクションに対して適切にタグ付けされた要素ではなく、箇条書きリストを出力してしまい、それが文字列としてパースされてリストとして認識されませんでした。以下にその例を示します。 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cbb0a3394beb695265a515_image-1.png) スキーマエラーこれらのパースエラーはケースバイケースで修正可能ですが、予測不可能性が全体的な開発体験を阻害しています。ある抽出チェーンから別のタスクへ適応する際にもオーバーヘッドが増大し、パーサーやその他の挙動がより一貫性を欠くようになります。また、XML 構文は GPT と比較して Claude の全体的なトークン使用量を増加させます。「トークン」自体を直接比較することはできませんが、冗長な構文は応答時間の遅延とコストの上昇をもたらす可能性が高いです。 ## 実験 2: オープンソースモデル 次に、市販の一般的なオープンソースモデルをベンチマークしたく、同じ基本プロンプトを 3 つのモデルで比較することから始めました。 - llama-v2-34b-code-instruct - 指示データセット上で微調整された、Code Llama 2 の 340 億パラメータ版バリアント。 - llama-v2-chat-70b - チャット用に微調整された、Llama 2 の 700 億パラメータ版バリアント。 - yi-34b-200k-capybara - Nous Research 製の 340 億パラメータモデル。 LangSmith で出力を確認するには[リンクされた比較](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=fe0a7d34-ac77-4674-97ab-11cf3b999f7c%2C2bb03041-c9e5-4040-bf4f-81b19e5c2ad4%2Ccd595a34-012c-4df2-849e-a7e2908d4c81&ref=blog.langchain.com)をご覧ください。または、以下の集計メトリクスを参照してください: 比較対象: ベースラインオープンソースモデル テスト項目 信頼性レベル類似度 (confidence_level_similarity) JSON 編集距離 (json_edit_distance) JSON スキーマ適合度 (json_schema) トピック外類似度 (off_topic_similarity) プログラミング言語類似度 (programming_language_similarity) 質問カテゴリ分類 (question_category) 感情類似度 (sentiment_similarity) 毒性類似度 (toxicity_similarity) [yi-34b-200k-capybara-5d76-v1](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=fe0a7d34-ac77-4674-97ab-11cf3b999f7c&ref=blog.langchain.com) -0.30 0.16 0.37 0.41 0.15 0.15 0.28 0.41 [llama-v2-70b-chat-28a7-v1](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=cd595a34-012c-4df2-849e-a7e2908d4c81&ref=blog.langchain.com) 0.30 0.43 0.04 0.30 0.15 0.04 0.30 0.00 [llama-v2-34b-code-instruct-bcce-v1](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=2bb03041-c9e5-4040-bf4f-81b19e5c2ad4&ref=blog.langchain.com) 0.93 0.41 0.89 0.89 0.44 0.07 0.59 1.00 モデルサイズが大きいにもかかわらず、Llama 2 の 70B バリアントは JSON を確実に出力しませんでした。これは、事前トレーニングおよび SFT コーパスに含まれるコードの量が少なかったためです。Yi-34b はこの点でより信頼性がありましたが、それでも必要なスキーマに一致するのは 37% の場合に限られました。また、分類タスクの中でも最も困難な質問カテゴリ分類（question_category classification）においては、より良いパフォーマンスを示しました。 34B Code Llama 2 は有効な JSON を出力でき、他の指標においても decent な結果を残したため、以下のプロンプト実験のベースラインとして使用します。 ## Experiment 3: スキーマ準拠のためのプロンプティング 3 つのオープンモデルベースラインの中で、34B Code Llama 2 バリアントが最も優れたパフォーマンスを示しました。このため、このモデルを選択し、「単純なプロンプト手法は、モデルに信頼性の高い構造化された JSON を出力させるためにどの程度機能するのか」という問いに対する回答としました（ヒント：あまりうまくいきません）。[こちらの手順書](https://github.com/hinthornw/llama-extraction/blob/main/llama_extraction.ipynb?ref=blog.langchain.com)を使用して、実験を再実行することができます。 ベースライン実験において、最も一般的な失敗モードは、無効な Enum 値のハルシネーション（例：[こちらの実行結果](https://smith.langchain.com/public/c653ce8d-dedd-41cf-828c-00dcd0403a8e/r/e7a38f0c-af73-492f-930b-d6b0ba256f41?ref=blog.langchain.com)を参照）や、質問の感情分析（question sentiment）のような単純なタスクにおける分類性能の低さでした。 これらが集計パフォーマンスにどのような影響を与えるかを確認するため、3 つのプロンプト戦略をテストしました。 - タスク固有の指示を追加する：スキーマには各値の説明が含まれているが、例えばリストから有効な列挙型値を慎重に選択するという追加の指示が役立つかどうかを確認したかった。このアプローチは数々のプレイグラウンド例でテストしたが、場合によっては効果があることがわかった。 - 思考連鎖（Chain-of-thought）：最終出力を生成する前に、スキーマ構造について段階的に考えるようモデルに求める手法。 - フューショット例（Few-shot examples）：明示的な指示とスキーマに加えて、モデルが従うべき期待される入力 - 出力ペアを手作業で作成した。LLM は（人間と同様に）、指示から学ぶよりも数例を見ることでよりよく学習することがある。 以下に結果を示す： OSS モデルにおけるプロンプト戦略の比較 テスト プロンプト confidence_level_similarity json_edit_distance json_schema off_topic_similarity programming_language_similarity question_category sentiment_similarity toxicity_similarity [llama-v2-34b-code-instruct-bcce-v1](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=2bb03041-c9e5-4040-bf4f-81b19e5c2ad4&ref=blog.langchain.com) ベースライン 0.93 0.41 0.89 0.89 0.44 0.07 0.59 1.00 [llama-v2-34b-code-instruct-e20e-v1](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=0dbfb2d9-f53c-4d73-9eb7-db3bd2c1a0c8&ref=blog.langchain.com) 指示 0.95 0.38 0.96 0.89 0.63 0.11 0.54 1.00 [llama-v2-34b-code-instruct-34b8-v2](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=379cfcd2-ddc1-4866-9d41-9d59733ddfc1&ref=blog.langchain.com) few-shot（少例学習） 0.89 0.38 0.59 0.85 0.33 0.07 0.85 0.96 [llama-v2-34b-code-instruct-d3a3-v2](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=f085918d-085e-41f1-8ce1-b80382a1d291&ref=blog.langchain.com) CoT（Chain of Thought：思考の連鎖） 0.97 0.42 0.85 0.85 0.44 0.04 0.57 0.81 提示されたプロンプト戦略のいずれも、対象となる指標において意味のある改善を示していません。few-shot 学習（少例学習）の手法は、むしろ JSON スキーマテストにおけるモデルのパフォーマンスを低下させています（参照：[example](https://smith.langchain.com/public/dd49c66e-e0e7-4aaf-ab6a-c80b55764698/r/1f225651-1a54-4c33-8d30-752677f5c430?ref=blog.langchain.com)）。これは、プロンプト内のコンテンツ量が増加し、生きたスキーマから注意が逸れてしまったためかもしれません。指示を明示化することは、モデルに質問に集中するよう指示しているため、プログラミング言語分類のパフォーマンス向上につながっているように見えます。しかし、その寄与はわずかであり、感情分析の指標においては、モデルは依然として*レスポンス*の感情に気を取られ続けています。 ## Experiment 4: Structured Decoding プロンプト手法のいずれもモデル出力の構造化に顕著な向上をもたらさないため、スキーマ準拠の JSON を確実に生成する他の方法をテストすることにした。具体的には、ロジットバイアスや制約ベースサンプリング [constraint-based sampling] などの構造化デコーディング手法を適用したいと考えている。ガイド付きテキスト生成に関する調査については、Lilian Weng の [優れた投稿](https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/?ref=blog.langchain.com) を参照されたい。 本実験では、[Llama 70B](https://replicate.com/andreasjansson/llama-2-70b-chat-gguf?ref=blog.langchain.com) を用い、Llama.cpp の文法ベースの [デコーディング機構](https://github.com/ggerganov/llama.cpp/blob/master/grammars/README.md?ref=blog.langchain.com) を適用して有効な JSON スキーマを保証する。ベースラインとの比較は[こちら](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=d522dbfc-c09b-45a9-b11e-26aa95a3555a%2Ccd595a34-012c-4df2-849e-a7e2908d4c81&ref=blog.langchain.com)および以下の表を参照されたい。 Compare Baseline vs. Grammar-based Decoding Test Decoding confidence_level_similarity json_edit_distance json_schema off_topic_similarity programming_language_similarity question_category sentiment_similarity toxicity_similarity [llama-v2-70b-chat-28a7-v1](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=cd595a34-012c-4df2-849e-a7e2908d4c81&ref=blog.langchain.com) baseline 0.30 0.43 0.04 0.30 0.15 0.04 0.3 0.0 [llama-gguf-1f95-v2](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d/compare?selectedSessions=d522dbfc-c09b-45a9-b11e-26aa95a3555a&ref=blog.langchain.com) structured 0.93 0.44 1.00 0.89 0.37 0.26 1.0 1.0 最も目立っており、かつ予想された改善点は、json_schema（JSON スキーマ）の正しさがほぼ常に誤りだったものが 100% の妥当性へと向上したことです。これは、他の値も信頼して解析できるようになったことを意味し、これらのフィールドにおける 0 の数が減少しました。ベースとなる Llama 70B チャットモデルは、以前の 34B モデル実験よりも規模が大きく能力が高いため、感情類似度や質問カテゴリにおいても改善が見られます。ただし、これらの指標における絶対的なパフォーマンスはまだ低いです。文法に基づくデコーディング（decoding）により出力構造が保証されますが、それだけでは値自体の品質を保証するには不十分です。 ## Full Results 上記の実験の完全な結果については、[LangSmith テストリンク](https://smith.langchain.com/public/00f4444c-9460-4a82-b87a-f50096f1cfef/d?ref=blog.langchain.com) をご確認ください。また、[こちら](https://langchain-ai.github.io/langchain-benchmarks/notebooks/extraction/chat_extraction.html?ref=blog.langchain.com) のノートブックの手順に従うことで、これらのベンチマークを独自モデルに対して実行することも可能です。 ## Related content ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a0f309a0e77b5e3544965e5_Lyft-customer-support-blog.png) Case Studies LangGraph LangSmith Tutorials & How-Tos ## How Lyft Built a Self-Serve AI Agent Platform for Customer Support with LangGraph and LangSmith ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a0f35862276d228fb60ba48_akshay-sharma.jpeg) Akshay Sharma May 27, 2026 10 min ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a0c7cab710767bbc0f61dc9_Screenshot%202026-05-19%20at%208.05.40%E2%AF0AM.png) LangSmith Agent Architecture Deep Agents Tutorials & How-Tos ## How We Built LangSmith Engine, Our Agent for Improving Agents ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/6a0cb550b64a7b20a465450b_palash-shah.jpeg) Palash Shah May 19, 2026 17 分 ![image](https://cdn.prod.website-files.com/65c81e88c254bb0f97633a71/69cba9b9e7ec0692a2d079af_gtm-agent-diagram-1--6-.png) チュートリアル & ハウツーガイド ## LangChain の GTM エージェントの構築方法 LangChain チーム 2026 年 3 月 9 日 11 分 ## エージェントが実際に何をしているかを確認する LangSmith は、エージェントエンジニアリングプラットフォームであり、開発者がすべてのエージェントの意思決定をデバッグし、変更の評価を行い、ワンクリックでデプロイできるように支援します。

抽出機能のベンチマーク評価

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト