法務エージェントベンチマークの初期結果（8 分読）

Article

Conversation

法務エージェントベンチマークにおける初期結果

長期にわたる法務エージェント作業における最先端モデルのパフォーマンスの最初の分析

今月初め、私たちは複雑な法務業務におけるエージェントを評価するためのオープンソースベンチマークである LAB をリリースしました。エージェントベンチマークを開発・公開する私たちの核心的な動機の一つは、エージェントが実際の法務タスクでどのようにパフォーマンスを発揮するか、およびモデル選択、ハネス最適化、ポストトレーニングといった主要なエージェント設計の決定に伴うトレードオフについて透明性を提供することです。

リリース以降、私たちは LAB のタスク分布を反映した評価セットにおいて、主要な AI プロバイダーからの最先端モデルのベースライン測定を行ってきました。LAB の「全パス」基準に基づいて各タスクにスコアリングを行いました。この基準では、必要なすべてのルブリック基準が合格した場合のみ、そのタスクは合格とみなされます。この分析から、3 つの有意な傾向が浮き彫りになりました：

• 法務作業は最先端モデルによって飽和されるほどには至っていない：厳格な全通過基準の下、評価した最先端モデルの総合的なエンドツーエンドでのタスク完了率は 10% に満たない。モデル知能の最前線はまだ完全な法務成果物を提供するには至っていない。
• 知能は均等に分布していない：モデル能力の向上は、法務作業が依存する専門知識や判例の種類によって均等には広がっていない。モデルは依然として専門的な知識労働において限界を示しており、実務分野間で大きなばらつきがある。LAB（Legal Agent Benchmark）では、リーダーボードは法務実務分野ごとに大きく変動し、どの単一のモデルもすべての分野で首位を占めているわけではない。
• 最先端の知能にはコストがかかる：モデル層における開発ペースは加速しており、主要な研究機関が月次で一般知能の最前線を押し広げている。その最前線で運用するコストもそれに伴って上昇しており、最高スコアを獲得するモデルはますますトークン消費量が多く、時間のかかる多段階推論に依存している。LAB においてリーダーボードの首位に立つには、タスクあたり約 50 ドルのコストと 20 分以上のレイテンシが必要となる。
• 私たちはまた、エージェントがタスク内でどのように動作するかという点が、それが生み出すスコアと同じくらい重要な情報を含んでいると考え、法務のような高リスクで規制された領域では、エージェントの行動への可視性が時間とともに重要性を増していくと信じている。強化学習やマルチエージェントシステムの文献は長年このようにエージェントを研究しており、エージェントの行動シーケンスを検証し、それらを行動パターンとして集約してきた。私たちは、なぜ一部のエージェントが成功し他の一部が不足するのかを理解するために、エージェントのトレースに対する定性的分析を提供する。

エージェントを標準化された方法で評価するために、

の分野やタスク分布を反映した法的タスクのホールドアウトセットを作成しました。各タスクは、LAB の全合格基準に基づき、専門家が作成したルーブリックに対して採点されます。このルーブリックでは、合格する回答に含まれるべき事実、結論、引用、構造的要件、および分析的な動きを具体的に規定しています。採点者のバイアスを防ぐため、モデルファミリー間でエージェントの実行結果を複数回評価し、その平均値を採用します。

図 1. LAB における全体リーダー（全合格率順）。

図 1 は、ホールドアウトセットにおける全体の全合格率に基づき、ベースラインとした最先端モデルをランク付けしています。Claude Opus 4.7 が 7.1% で首位に立ち、Sonnet 4.6 が 5.4%、Opus 4.6 が 4.2%、GPT-5.5 が 2.1%、Gemini 3.5 Flash が 0.8% です。これらは、これまで評価してきた主要なモデルファミリーを構成しています。厳格なレビュー基準、すなわち実際の法的業務が要求する水準に照らしてこれらの数値を見ると、最先端技術は急速に進化しているものの、まだ十分とは言えない状況であることがわかります。法的業務の市場は、いまだ飽和状態には遠くあります。

集計された結果は、法務分野に存在する多様な実務領域や専門化において、著しいばらつきを隠してしまっています。法務作業は、企業法務・規制対応から知的財産、税務、雇用、ヘルスケアに至るまで数十のサブドメインにまたがっており、それぞれが必要とする専門知識や判例は異なります。これらをすべて一つの「全通過」数値に集約すると、タスクの多様性が隠されてしまいます。実務領域ごとのモデル性能を理解するために、私たちは同等規模の実務領域グループを 3 つ作成し、それぞれのグループ内で同じ 4 つのモデルファミリーを再ランク付けしました。

図 2 は、各実務領域における「全通過」スコアを示しています。重要な点は、各グループで異なる最前線のモデルが優位性を示していることです。

図 2. 実務領域別のサンプル内訳。

図 2 に示されたパターンは、「ジャギッド・インテリジェンス（jagged intelligence）」の典型的な例です。これは LLM の不均一なプロファイルを示すもので、あるタスクでは

while others

人間の観察者にとって予測困難かつ明瞭ではない方法で頻繁に起こります。GPT-5.5 は、検索を多用した研究が業務の大きな部分を占める規制対象企業および新興企業のグループで首位です。Opus 4.7 は、合成と分析作業が支配的な企業取引およびファンドカテゴリで首位です。Sonnet 4.6 は、法令や規制との構造化された比較が中核となるプライバシー、税務、プライベートクライアント業務のグループで首位です。異なるモデルファミリーは法律業務に異なる事前知識（priors）をもたらしており、これらの事前知識が各ファミリーが現在完了できるカテゴリに対応しています。

これが実務において意味するのは、現在の法律業務に対して単一のモデルが万能薬となることはないということです。実際の法律業務負荷におけるエージェントのパフォーマンスを最大化するには、どのモデルファミリーが目の前のタスクに最も適合するかを理解する必要があります。最強の生産用エージェント展開は、最初からマルチモデル構成となります。

生産用エージェントについては、

完全な展開の複雑さを捉えきれていません。このセクションでは、金銭的コストとレイテンシ（遅延）の両面を考慮した追加評価を実行します。

図 3. コストとレイテンシのトレードオフ。

図 3 は、ベースラインとしたすべてのモデル構成ごとのタスクあたりのコストとタスクあたりのレイテンシを示しています。両軸にわたってばらつきが大きく、フロンティアにおけるエージェント知能の運用コストがいかに急峻になっているかが示されています。

すべてのパススコアにおいて最高性能を示す Opus 4.7 は、このセットの中で最も高価かつ最遅の構成であり、1 タスクあたり約 50.90 ドル、実時間ではおよそ 22 分かかります。GPT-5.5 はその約 3 分の 1 のコストで済み、レイテンシの観点では Gemini 3.5 Flash がドラフトを 6 分未満で返します（ほぼ 4 倍高速）ですが、両者ともこのホールドアウトセットでは全パスリーダーには及びません。

実環境でのエージェント導入には、高いベンチマークスコアだけでは不十分です。顧客が許容する予算内での高スコアが必要です：つまり、1 タスクあたりに支出するドル額と、ドラフトを待つ時間です。両方の予算制約が実際に展開可能な範囲を形作り、LAB においてはモデルのフロンティア across でこれらが急激に変化します。

エージェントがどのように動作するか——環境探索の方法、意思決定のパターン、そして失敗モード——は、単なるタスク成功の数値と同様に理解することが重要です。この理由から、強化学習（reinforcement learning）およびマルチエージェントシステム（multi-agent systems）の文献では、長年にわたりエージェントの振る舞いを定性的・定量的に研究してきました。

LAB における法的エージェントにも同じ視点でアプローチします。ベースラインとしたエージェントは、固定されたアクション空間を持ち、任意のターンにおいてエージェントが選択可能なアクションは 6 つです：

• リード：事件ファイルから文書を開く。
• サーチ：文書全体にわたる内容について事件に対してクエリを実行する。
• エグゼキューション：事件またはその出力に対して分析コードを実行する。
• ライト：成果物として出力を生成または拡張する。
• バリデーション：ドラフトを指示または事件記録に対して明示的にチェックする。
• エディット：バリデーションステップ後に作業成果物を修正する。

スコアリング基準に加えて、各 LAB 実行では、エージェントが最終的な成果物を生成するためにこれらのアクションをどのように順序立てて行ったかを捉えるエージェント・トレース（trace）が生成されます。私たちは、それらのアクションがどのように行動（behavior）へと結合し、その行動が結果とどう相関するかを分析しました。

図 4 エージェントのアクション。

図 4 は、各モデルファミリーが利用可能なアクションに対してその軌跡をどのように配分しているかを示しています。広範なパターンは一貫しており、エージェントはまずクライアント事件ファイルを読み込んで文脈を構築し、次にコード実行を通じてある程度の分析を実行し、最終的な成果物のドラフトを作成します。そして、より少ない割合のケースでは、検証と修正のためにそのドラフトまたは先行する分析に戻ります。

モデルはそれぞれ何を重視するかにおいて異なり、その行動シーケンスをパフォーマンスにマッピングすることで、モデルの重みに隠されたどのような行動的事前知識（behavioral priors）が存在し、それらが知識労働においてどの程度有効であるかが明らかになります。例えば Opus 4.7 エージェントは最も目に見える自己修正性を示しており、他のモデルに比べて平均して軌道のより多くの時間をドラフト作成に費やし、作業完了前に頻繁に自身の出力を再確認・検証・修正します。これはドラフト関連タスクにおいて顕著に高いスコアにつながります。GPT-5.5 はあらゆるファミリーの中で最も大きな検索セグメントを持っており、他のモデルよりも文書検索をより重視し、平均してより広範な文書をカバーしています。これが研究焦点型タスクにおける高スコアにつながっています。

また、行動のパターンがどのように集約されて認識可能な振る舞いとなるかを検討しました。エージェントをその振る舞いを通じて研究することは、マルチエージェントシステム文献において強い歴史を持ち、例えば

シミュレーション環境における

や学習された

などを明らかにしてきました。

同じレンズがここでも有用であり、興味深いことに、法的タスクを処理する際に現れ、高いパフォーマンスと相関する振る舞いは、有能なアシスタント弁護士が行うステップに似ています：事案を読み込み、不足しているものを検索し、関連事実に対して分析を実行し、成果物をドラフト作成し、そのドラフトを指示と比較して確認し、その確認に基づいて修正を行うことです。

図 5. エージェントの振る舞い。

モデルファミリー全体にわたる一連の行動シーケンスを分析した結果、一貫して現れ、結果に有意な影響を与える少数のエマージェント行動（突発的振る舞い）が存在することが特定されました：

• ドラフト作成前の徹底的な調査：エージェントが作業成果物を生成する前に広範な事案の文脈を構築する場合（例：調査段階で文書カバー率が 90% を超える）、すべての項目合格スコアは平均 0.4 ポイント向上します。
• ドラフト作成後の検証：ドラフト作成後に検証またはレビューステップを実行し、最初のドラフトを最終版として扱わないエージェントでは、すべての項目合格スコアが平均 0.8 ポイント向上します。
• 検証と修正：最も強い正の傾向は単なるレビューではなく、レビュー後に成果物自体を変更することです。このチェック後の修正ループを完了させるエージェントは、すべての項目合格スコアを平均 1.5 ポイント向上させます。
• ターゲット型検索の利用：実行中に事案ファイルを検索するエージェントは、最初に開かれた文書に頼るのではなく、より広範なコーパス全体から事実を特定できるため、すべての項目合格スコアが平均 0.3 ポイント向上します。

-構造化分析の適用：エージェントがコードやシェルツールを使用して計算、解析、または証拠を検証する場合、法的タスクの一部をより体系的な分析ステップに変換し、すべての項目合格スコアが平均 0.3 ポイント向上します。

• レコードに対するドラフトの根拠付け：ドラフト作成後に元の文書に戻るエージェントは、基礎となる証拠に対して作業成果物を確認または修正しているように見え、すべての項目合格スコアが平均 0.3 ポイント向上します。
• ノイズの多いツールの扇状展開の回避：高並列ツール使用（つまり、1 つのターンで 5 つ以上のツール呼び出し）は迅速に範囲をカバーできますが、すべての項目合格スコアが 0.5 ポイント低下することと関連しており、十分な方向性のない広範な検索はノイズを追加する可能性があることを示唆しています。

-レビューなしでのドラフト作成：ドラフトを作成したが後の検証や修正をスキップするエージェントは著しく劣り、すべての項目合格スコアが平均 1.2 ポイント低下します。

図 5 の頻度列は、各行動を示す観測されたエージェントの軌道の割合です。自己修正が最も強い正のシグナルです。

これら一連のパターンは、単なるモデルの偶発的な特性というよりは、優れた弁護士補助業務の成果物に見られる明確な兆候と捉えることができます。すなわち、起草前に文脈を構築し、提出前に作業を検証し、レビュー後に実質的な修正を加え、そして合成が困難になるほど多くの並行する作業流を避けるという行動様式です。

今日の最先端技術と信頼性の高い法務エージェントの性能との格差を埋めるには、複数の側面における持続的な研究が必要です。具体的には、エージェントがいかにして長期にわたる専門業務を処理するか、法的サブドメイン間で転移可能な領域知識をいかに内面化するか、そして実際の生産環境で必要とされるコストおよびレイテンシの制約内でいかにその性能を発揮するかという点です。これらそれぞれが独自の研究方向であり、それぞれの分野での進展は互いに相乗効果を生みながら積み重なっていきます。

時を経るにつれ、行動分析は、AI 研究者と弁護士双方にとってこれらの研究方向を解釈可能にするためのツールとなります。解釈できないものを改善することはできず、長期にわたる専門業務においては、最終的なスコアだけでなく、そのプロセス全体（トラジェクトリ）こそが適切な測定単位です。LAB は、そのような作業を行うために私たちが使用しているツールの一つです。

これらの研究方向を促進するために、LAB は以下の 3 つの側面で継続的に発展していく予定です：

• ベンチマークそのもの。より多くの実務分野をカバーするリッチなタスクファミリー、法律以外の隣接する専門サービスワークフロー、そして文脈の長い事案を含むものです。私たちは Artificial Analysis と提携し、LAB 評価を拡大するとともに、新しいモデルの登場に合わせて定期的に更新されるリーダーボードを発表します。このリーダーボードは、法務分野における最前線の状況を生きた記録として、分野が進展するたびに刷新されていきます。
• これを取り巻く研究プログラム。本記事で取り上げられた各トレンドは、新たな研究方向性を開きます。私たちはパートナーと連携してこれらの研究スレッドを開始しており、エージェントが長期にわたる法務タスクをどのように処理するかをより正確に測定すること、ドメイン知識が法務のサブ分野間でどのように転移するかを研究すること、そして品質向上とともにコストとレイテンシの改善をエージェントに組み込む方法を模索しています。
• AI ラボおよびモデルプロバイダーとの協力。私たちは、ベースライン評価を行ったエージェントを持つモデルプロバイダーと連携し、モデル層におけるどのような変更が法務エージェントのパフォーマンスに効果をもたらすかを理解し、その知見を提供していきます。

これらおよびその他の研究方向性については、近々さらに詳細な情報を提供いたします。