ハーベイの法務エージェントベンチマークの紹介

私たちは、弁護士が行う実際の業務をサポートするためのエージェント能力を評価・改善するために構築されたオープンソースのベンチマーク「Harvey's Legal Agent Benchmark (LAB)」を発表します。各タスクは、指示、関連資料を含むクライアント事件、およびレビュー用の成果物をエージェントが生成するという要件から構成されています。この構造は、大手法律事務所で業務がどのように割り当てられ、実行され、レビューされるかを模倣するように設計されています。 LAB の目的は、エージェントが現実世界の法的業務をサポートするためにどのように展開できるかについて明確な像を提供することです。エージェントがタスクのすべて、一部、あるいは全く行えない箇所を明確にすることで、LAB は法律事務所が AI 投資の ROI（投資対効果）を測定し、その投資がチームの業務をどのように補完できるかを把握する手助けとなります。 LAB の最初のバージョンには、24 の法的実務分野にわたる 1,200 以上のエージェントタスクが含まれており、75,000 件を超える専門家によって作成された評価基準（ルブリック）によって評価されます。私たちは、モデルプロバイダー、エージェント構築者、研究者、および法律事務所が、長期にわたる法的エージェントの進捗を測定するための共通の方法を提供するために、LAB をオープンソース化します。 私たちは、データセットが時間とともに進化していくことを想定し、エージェントのパフォーマンスをどのように伝えるかにおいて結果が明確で直感的であることをコミュニティと協力して確保したいと考えているため、意図的にリーダーボードなしで LAB を立ち上げました。今後数週間で、研究パートナーと連携して LAB におけるベースライン結果を取得し、法的エージェントの現状に関する視点を提供するリーダーボードを公開します。さらに、提出物を正規化するための基準も公開し、新しいタスク、実務分野、知識労働分野とともにベンチマーク自体が進化する中で、人々が改善点を特定し、ベンチマークの進捗を追跡できるようにします。 LAB のオープンソース版は [こちら](https://github.com/harveyai/harvey-labs) でご覧いただけます。 ## エージェントベンチマークを構築した理由 Harvey では過去 1 年間、法的ドメイン向けのエージェント（agent）の構築に注力してきました。これにより、現実世界の法的タスクにおけるパフォーマンスをどのように測定するかについて深く考えることを余儀なくされました。 これまで、長期的な法的業務におけるエージェントの進捗を示すベンチマークは存在しませんでした。既存の評価手法には [LegalBench](https://hazyresearch.stanford.edu/legalbench/)、[CUAD](https://www.atticusprojectai.org/cuad/)、[LEXam](https://lexam-benchmark.github.io/)、および私たちが以前行った [BigLaw Bench](https://www.harvey.ai/blog/introducing-biglaw-bench) に関する研究が含まれますが、これらは短期間の推論に焦点を当てた評価です。具体的には、契約書の読み取り、質問への回答、判例の比較、または主張の分析といったタスクを対象としています。 コーディングにおいて、エージェントベンチマークはエージェントの能力を示す重要な先行指標として機能してきました。例えば、[SWE-Bench Pro](https://arxiv.org/abs/2509.16941)、[SWE-Bench Verified](https://www.swebench.com/verified.html)、および [Terminal-Bench 2.0](https://www.tbench.ai/benchmarks/terminal-bench-2) におけるエージェントのスコアは、エンジニアリングチームが実践において変化を実感し始めた頃とほぼ同じ時期に、ステップ関数的な改善を反映していました。この瞬間は、コーディングエージェントが「12 月までは基本的に機能していなかったが、それ以降は基本的に機能するようになった」という Karpathy の観察によって象徴的に結晶化されました ["basically didn't work before December and basically work since"](https://x.com/karpathy/status/2026731645169185220?s=20)。 ![image](https://www.harvey.ai/_next/image?url=https%3A%2F%2Fcdn.sanity.io%2Fimages%2F07s0r5r6%2Fproduction%2F42a0a9face8ec287a37624df5211f723f041dfc6-3840x2160.png%3Fauto%3Dformat&w=3840&q=80)エージェントの転換点 このパターンは現在、コーディングの領域を超えて広がっています。[GDPval](https://openai.com/index/gdpval/)、[OSWorld-Verified](https://xlang.ai/blog/osworld-verified)、[BrowseComp](https://openai.com/index/browsecomp/)、[MCP Atlas](https://github.com/scaleapi/mcp-atlas)、[FinanceAgent](https://www.vals.ai/benchmarks/finance_agent)、[Humanity's Last Exam](https://agi.safe.ai/)、および [APEX-Agents](https://www.mercor.com/apex/apex-agents-leaderboard/) といったベンチマークは、実世界の知識労働、コンピューター操作、ウェブ調査、ツール利用、金融分析、最先端の推論、そして専門サービスタスクにわたる進歩を可視化するのに貢献しています。 LAB は、AI システムの導入と ROI の最大化を図る法務法人に対し、同様の明瞭な指標を提供することを意図しています。実務分野におけるエージェントの能力範囲を理解することで、法人はクライアント価値を加速させつつ弁護士を高レバレッジの委任・レビューパターンへ移行させるために、どこにエージェントを導入すべきかの機会を特定できます。また、エージェントが苦戦する領域を特定することは、タスク実行においてどこで人間による厳密なループ（ヒューマン・イン・ザ・ループ）を維持すべきかを理解する手助けとなります。これらを組み合わせることで、法務法人はクライアントにとって責任あるものかつ安全であり、最大限に効果的な導入判断を下すことができます。 主要なオープンソースおよびクローズドソースモデルに対する LAB の初期結果は、研究パートナーからの追加入力とコミュニティからのフィードバックを経て、今後数週間にわたって公開される予定です。これらの対話を通じて、ベンチマークスコアがエージェントのパフォーマンスを明確かつ偏りのない透明性のある方法で表すことが保証されます。また、本リリースでは、第三者がエージェントスタックの任意の部分における改善を報告し、新しいタスクやその他の拡張機能に伴うベンチマークの進化とともにスコアがどのように変化するかを追跡できるよう、正規化された条件下でのベンチマーク実行の提出方法に関するガイダンスも提供されます。 強力なパブリックベンチマークは、単に進捗を測定するだけでなく、それを加速させる役割も果たします。すでに LAB は、当社の内部チームによる製品評価や、より広範な研究コミュニティにおけるオープンウェイトのポストトレーニング、自動調査、メモリ機能、ドメイン固有の法務スキル、および長期ホライズンのエージェント作業のためのハッシュ最適化の探求に活用されています。LAB が法務エージェント分野での進歩に向けた共有基盤を創出し、AI 研究コミュニティと法曹界をつなぐ架け橋となる可能性に、私たちは大きな期待を抱いています。 ## Legal Agent Benchmark LAB はクライアント事件中心型のベンチマークです。これは法律事務所で実際に提供される法的業務のあり方を反映するように構築されており、エージェントの実行および評価プロセスの各ステップを、その法的対応物に対応させています： - 指示：エージェントの指示は、パートナーからアソシエイトへの業務依頼として記述されています。指示は、期待される出力やスタイルに関する詳細な説明ではなく、必要な事項を肯定文で示す形で与えられます。 - 環境：エージェントの環境は顧客事件です。顧客事件とは、法律事務所が顧客に代わって業務を完了するために必要な、ドキュメントやその他の資料からなるクローズド・ユニバース（閉じた世界）のセットを定義するものです。これらのドキュメントには、事件ファイル、事務所のテンプレート、メール通信、およびエージェントが指示を達成するために発見して整理しなければならない他の情報が含まれます。 - 出力：タスクを成功裡に完了するためには、エージェントはレビュー可能な法的成果物を生成しなければなりません。 - 検証：エージェントの作業は、専門家が作成した評価基準（ルブリック）によって採点されます。この評価基準は、フォーマット、事実、分析の観点から正解が何を生成すべきかを概説するものであり、パートナーやクライアントに引き継がれる際に成果物が受ける審査を模倣しています。 ![image](https://cdn.sanity.io/images/07s0r5r6/production/962c0cacf8181dfddc0b105e83a396e43404606f-1920x1080.svg)法的業務の模倣 この顧客事件中心の構造は、LAB において各タスクを定義する際の基盤です。各タスクは、単にエージェントが法的質問に答えられるかどうかを試すだけでなく、開かれた課題（オープン・エンドなアサインメント）をどのように処理できるかも試すように設計されています。 ## タスクの定義 LAB の各タスクは、エージェントが現実世界の業務をナビゲートする能力を試すために構築されています。指示は短く、平均してわずか 50 語です。環境には主要ファイルと周辺ファイルが混在し、複数の文書にわたって課題が埋め込まれています。エージェントは曖昧な指示から始め、関連文書全体にわたって文脈を構築し、その文脈を用いて必要な成果物を生成する必要があります。 一例として、ある企業買収・合併（M&A）タスクでは、エージェントに対し、4 億 5800 万ドルの 100% 株式取引に伴う Crestview Software Solutions の提案された（架空の）買収に関連する支配権移転条項を分析するよう求めています。 ![image](https://cdn.sanity.io/images/07s0r5r6/production/5fe91896f418710783170de3f968b89d935dd25a-1920x1080.svg) 例：M&A タスク 入力として、エージェントは取引の背景情報を含むファイルシステム、バーチャル・データルーム（仮想資料室）、およびパートナーからの短い指示を受け取ります。この指示では、データルームのレビュー、支配権移転条項の特定、取引へのリスク評価、次のステップの推奨、ならびに取引チームと取締役会向けにレビュー可能なドラフトメモランダムの作成が求められています。データルームには関連文書の混合が含まれており、8 つの重要契約やその他の周辺資料（例：10-K 報告書、延期給付計画など）が含まれますが、これらが分析に関連するかどうかは状況によります。タスクを完了するには、エージェントはどのファイルが重要かを特定し、それらを文脈の中で読み込み、関連する条項を事案全体にわたって統合する必要があります。 必要な出力は、レビュー可能なデールチームメモです。これには、リスクマッピングを含むエグゼクティブサマリー、関連条項ごとの契約分析、重大度評価、特定された各リスクを緩和する方法に関する推奨事項など、その他多くの要素が含まれる必要があります。 タスクの評価 エージェントがタスクを完了すると、最終出力はパートナーまたはクライアントによる詳細なレビューを反映するように設計された専門家向けルブリックに対して採点されます。各ルブリックは、ステークホルダーが提出された成果物で厳密に検討する要素を、原子レベルの二値式（合格/不合格）基準に分解します。具体的には、事実、結論、引用、重大度評価、推奨事項、期限、金額、書式選択です。各基準は特定の成果物ファイルに関連付けられています。これにより、実行間を通じてルブリックが一定に保たれます。同じ基準は LLM 判定器によって適用可能であり、モデル比較や変更の活用に使用でき、また各基準ごとの報酬信号としてエージェントのトレーニングループにフィードバックされます。 ![image](https://cdn.sanity.io/images/07s0r5r6/production/6a5fb30f86e8d96f27795741754815f55426414b-1920x1080.svg)タスクの評価 コントロール変更に関するタスクの場合、ルブリックには 9 つの法的課題に配置された 57 の基準が含まれています。各課題は、基礎となる事実、重大度評価、財務的エクスポージャー、推奨される行動をカバーする 4 から 9 の基準に分解されています。 評価基準の範囲は、コントロール権変更後にピナクルライセンスが独占性を非独占性へ転換するかどうかといった単純な確認から、財務リスクの集計計算や、統合された同意・免除のタイムライン構築、契約間における一貫しないコントロール権変更定義の整合性確認など、より詳細な作業成果物に対する確認まで多岐にわたります。 重要なのは、タスクが完了とみなされるのはすべての基準をパスした場合のみであり、これを**「オールパス評価」**と呼ぶ点です。10 のリスクのうち 8 つを特定したデールチームのレポートは、有用性が 80% であるわけではありません；それは本質的に不完全です。見落とされた課題が、取引経済条件を変化させたり、クロージング前に分析の再実施を必要としたり、あるいはクローミング後に問題として表面化する可能性があります。 「オールパス評価は、実務において高リスクな法的作業がどのようにレビューされるかを反映しています——大半の問題に気づいたとしても、部分的な加点はありません。」 ## プラクティスエリア別分布 コントロール権変更に関するタスクは、LAB における 1,250 のタスクの一つであり、24 の法務プラクティスエリアにまたがっています。大手ファームには数百の異なるプラクティスが存在するため、今回の初期リリースでは、アソシエイトが日常的に遭遇する取引・助言・規制・訴訟業務を代表するセットに焦点を当てています。 ![image](https://cdn.sanity.io/images/07s0r5r6/production/33f1322bb2cb2e5def02a3dc0d260504e1c00ce7-1920x1080.svg)プラクティスエリア別分布 ベンチマークの規模拡大のため、各専門分野で実務弁護士が担当した実際の顧客事例から始めました。その後、これらの事例を、新米弁護士に通常割り当てられる個別タスクに分解しました。今回のリリースに含まれる 24 の専門分野は網羅的なものではなく、その分野内でも多くのタスクタイプがまだカバーされていません。今後のリリースでは既存の分野内でより多くのタスクを追加し、法務部門以外の法律事務所の実務にも拡大し、さらに法務部門を超えて社内法務や資産運用・銀行業務などの隣接する知識労働ドメインも対象とします。 ## コミュニティとの連携 LAB は、私たちが初めて完全にオープンソース化したベンチマークです。LAB の拡張と開発を続けるにあたり、以下の分野での協力を模索しています： - 弁護士：既存のタスクの見直し、評価基準の監査、および実際の業務を反映した新しいタスクファミリーへの貢献を通じて、ベンチマークの有効性を検証し改善すること。 - 法律事務所：事務所の業務を定義するワークフロー、納品物、レビュー基準をより正確に把握できるよう支援し、ベンチマークがエージェントの現状を意味のあるかつ実行可能な形で理解できることを保証すること。 - 法務技術者（Legal Technologists）：法務ワークフローに特化したドメイン固有のスキル、ツール、およびエージェントを開発すること。 - エージェント研究者：長期にわたる作業における計画、検索、ツール利用、メモリ管理、およびハッチ設計を改善すること。 - AI ラボ：信頼性の高い法的成果物を生成できる能力に優れたポストトレーニングモデルの開発に取り組むこと。 「私たちの目標は、法的エージェントのパフォーマンスと進捗を測定するための透明性のある手段を提供するだけでなく、法務分野および AI 分野における研究の進展を加速させることです。」 また、すでにベンチマークへの貢献や、それによって可能になる研究方向性の確立に寄与してくださった以下の研究グループにも感謝申し上げます。 1 of 18 オープンソースでの公開は、この取り組みを広げることを意図しています。モデルプロバイダー、スタートアップ、研究者、法務 AI 企業、および法律事務所に対し、ベンチマークの実行、評価基準の監査、ハッチの改善、新しいタスクファミリーへの貢献、そして次期に法的エージェント評価が何を測定すべきかを定義する支援を呼びかけます。 ## 次に何をするか この LAB の最初のバージョンは、法務エージェントの評価におけるいくつかの重要な課題に対応していますが、これはまだ始まりに過ぎません。今後は、LAB を主に 3 つの分野で拡張する計画です。 - すべての大手法律事務所の専門分野およびその分野内のタスクへの対応範囲を拡大すること。 - 法律事務所だけでなく、社内法務部門から資産運用会社、銀行家、税理士などの非弁護士に至るまでの他の専門サービスワークフローへの対応範囲を拡大すること。 - タスクのカバー範囲とサンプルの多様性を改善し、評価のためだけでなく、ファインチューニングやトレーニングを通じてモデルを向上させるためにも使用できるデータセットの構築に重点を置くこと。 私たちの全体的な目標は、法務界と AI 界が、エージェントが今日どこで有用であるか、そして時間をかけてどのように改善するかを理解できるよう支援することです。それには、ハービー以外の多様な意見が必要です。研究者、弁護士、および実際のクライアント業務でエージェントを使用している法律事務所が、ベンチマークのテストやタスクへの負荷試験を行い、シグナルが最も明確な箇所や欠けている箇所を報告してくれることを求めています。特に法律事務所にとっては、LAB はワークフローのどの部分をエージェントに委譲できるか、どこで弁護士のレビューが最も重要かを理解し、まだ改善が必要な機能が何かを明らかにするために役立ちます。 今後数週間で、このベンチマークにおいてさまざまなモデルやエージェントを評価した初期結果を発表していく予定です。LAB に関するフィードバックをお持ちの方、データセットを用いた研究を行いたい方、あるいは特定のタスクや成果の評価に関心のある方は、ブログの執筆者リストに記載されているハーベイの研究チームのメンバーのいずれかにご連絡ください。 ## 謝辞 本プロジェクトは、ハーベイ内の各部門および外部パートナーからの多大なご支援がなければ実現し得ませんでした。Spencer Poff は GitHub リポジトリのオープンソース部分における技術責任者を務め、初期のハーンチ設計やエージェントのサンドボックス化、ベンチマークのオープンソース化に向けた多くの作業を主導しました。Julio Pereyra はタスク設計を率い、タスク作成のスケーラビリティを実現する革新的なドキュメントおよびシナリオ生成パイプラインを開発しました。セキュリティチームの Nick Gonella 氏、AI プラットフォームチームの Chris Paradis 氏、Gary Lam 氏、Bronwyn Austin 氏、Jinfeng Zhuang 氏、アシスタントチームの Phil Cerles 氏、Philip Lan 氏、応用法務調査部門の Laura Toulme 氏、Blake Chizen 氏、Nick Gillies 氏、ブランド担当の Shawn Farsai 氏、そしてベンチマークに関する継続的なフィードバックを提供いただいた Nico Belmonte 氏、Tara Waters 氏、Ryan Samii 氏、Joe Marando 氏、Farrah Pepper 氏、Joe Cohen 氏にも特に感謝いたします。また、本記事に対するフィードバックを寄せてくださった Dan Biderman 氏、Neel Guha 氏、Velen Wu 氏、Reinhard Heckel 氏にも御礼申し上げます。

ハーベイの法務エージェントベンチマークの紹介

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト