ハーベイの法務エージェントベンチマークの紹介
Harvey が法律専門の AI エージェント評価基準「LAB」をオープンソース化し、実務レベルでの性能測定と ROI 算出のための共通基盤を提供した。
キーポイント
実務ミラー型ベンチマークの導入
指示、顧客資料、成果物作成という構成で、大手法律事務所の実際の業務フローを模倣した評価基準「LAB」が公開された。
大規模なデータセットと評価基準
24 の法務分野にまたがる 1,200 以上のタスクと、75,000 項目を超える専門家によるルブリック基準で構成されている。
リーダーボードなしの公開戦略
データセットの進化を促し、コミュニティとの協働を重視するため、現時点ではランキング形式ではなく標準化された評価プロセスの確立を目指す。
影響分析・編集コメントを表示
影響分析
この発表は、法律分野における AI エージェントの評価を「単なる知識テスト」から「実務遂行能力」へと転換させる重要なマイルストーンです。業界全体で共通のベンチマークが確立されることで、AI ツールの比較検討が容易になり、法務現場への実装スピードと信頼性が大幅に向上すると予想されます。
編集コメント
法律という厳格な領域において、AI の実用性を客観的に評価する「共通言語」が生まれた点は非常に画期的です。今後はこのベンチマークを基に、各社の AI エージェントの性能比較が活発化し、法務業界の DX が加速することが期待されます。
私たちは、弁護士が行う実際の業務をサポートするためのエージェント能力を評価・改善するために構築されたオープンソースのベンチマーク「Harvey's Legal Agent Benchmark (LAB)」を発表します。各タスクは、指示、関連資料を含むクライアント事件、およびレビュー用の成果物をエージェントが生成するという要件から構成されています。この構造は、大手法律事務所で業務がどのように割り当てられ、実行され、レビューされるかを模倣するように設計されています。
LAB の目的は、エージェントが現実世界の法的業務をサポートするためにどのように展開できるかについて明確な像を提供することです。エージェントがタスクのすべて、一部、あるいは全く行えない箇所を明確にすることで、LAB は法律事務所が AI 投資の ROI（投資対効果）を測定し、その投資がチームの業務をどのように補完できるかを把握する手助けとなります。
LAB の最初のバージョンには、24 の法的実務分野にわたる 1,200 以上のエージェントタスクが含まれており、75,000 件を超える専門家によって作成された評価基準（ルブリック）によって評価されます。私たちは、モデルプロバイダー、エージェント構築者、研究者、および法律事務所が、長期にわたる法的エージェントの進捗を測定するための共通の方法を提供するために、LAB をオープンソース化します。
私たちは、データセットが時間とともに進化していくことを想定し、エージェントのパフォーマンスをどのように伝えるかにおいて結果が明確で直感的であることをコミュニティと協力して確保したいと考えているため、意図的にリーダーボードなしで LAB を立ち上げました。今後数週間で、研究パートナーと連携して LAB におけるベースライン結果を取得し、法的エージェントの現状に関する視点を提供するリーダーボードを公開します。さらに、提出物を正規化するための基準も公開し、新しいタスク、実務分野、知識労働分野とともにベンチマーク自体が進化する中で、人々が改善点を特定し、ベンチマークの進捗を追跡できるようにします。
LAB のオープンソース版は こちら でご覧いただけます。
エージェントベンチマークを構築した理由
Harvey では過去 1 年間、法的ドメイン向けのエージェント（agent）の構築に注力してきました。これにより、現実世界の法的タスクにおけるパフォーマンスをどのように測定するかについて深く考えることを余儀なくされました。
これまで、長期的な法的業務におけるエージェントの進捗を示すベンチマークは存在しませんでした。既存の評価手法には LegalBench、CUAD、LEXam、および私たちが以前行った BigLaw Bench に関する研究が含まれますが、これらは短期間の推論に焦点を当てた評価です。具体的には、契約書の読み取り、質問への回答、判例の比較、または主張の分析といったタスクを対象としています。
コーディングにおいて、エージェントベンチマークはエージェントの能力を示す重要な先行指標として機能してきました。例えば、SWE-Bench Pro、SWE-Bench Verified、および Terminal-Bench 2.0 におけるエージェントのスコアは、エンジニアリングチームが実践において変化を実感し始めた頃とほぼ同じ時期に、ステップ関数的な改善を反映していました。この瞬間は、コーディングエージェントが「12 月までは基本的に機能していなかったが、それ以降は基本的に機能するようになった」という Karpathy の観察によって象徴的に結晶化されました "basically didn't work before December and basically work since"。
imageエージェントの転換点
このパターンは現在、コーディングの領域を超えて広がっています。GDPval、OSWorld-Verified、BrowseComp、MCP Atlas、FinanceAgent、Humanity's Last Exam、および APEX-Agents といったベンチマークは、実世界の知識労働、コンピューター操作、ウェブ調査、ツール利用、金融分析、最先端の推論、そして専門サービスタスクにわたる進歩を可視化するのに貢献しています。
LAB は、AI システムの導入と ROI の最大化を図る法務法人に対し、同様の明瞭な指標を提供することを意図しています。実務分野におけるエージェントの能力範囲を理解することで、法人はクライアント価値を加速させつつ弁護士を高レバレッジの委任・レビューパターンへ移行させるために、どこにエージェントを導入すべきかの機会を特定できます。また、エージェントが苦戦する領域を特定することは、タスク実行においてどこで人間による厳密なループ（ヒューマン・イン・ザ・ループ）を維持すべきかを理解する手助けとなります。これらを組み合わせることで、法務法人はクライアントにとって責任あるものかつ安全であり、最大限に効果的な導入判断を下すことができます。
主要なオープンソースおよびクローズドソースモデルに対する LAB の初期結果は、研究パートナーからの追加入力とコミュニティからのフィードバックを経て、今後数週間にわたって公開される予定です。これらの対話を通じて、ベンチマークスコアがエージェントのパフォーマンスを明確かつ偏りのない透明性のある方法で表すことが保証されます。また、本リリースでは、第三者がエージェントスタックの任意の部分における改善を報告し、新しいタスクやその他の拡張機能に伴うベンチマークの進化とともにスコアがどのように変化するかを追跡できるよう、正規化された条件下でのベンチマーク実行の提出方法に関するガイダンスも提供されます。
強力なパブリックベンチマークは、単に進捗を測定するだけでなく、それを加速させる役割も果たします。すでに LAB は、当社の内部チームによる製品評価や、より広範な研究コミュニティにおけるオープンウェイトのポストトレーニング、自動調査、メモリ機能、ドメイン固有の法務スキル、および長期ホライズンのエージェント作業のためのハッシュ最適化の探求に活用されています。LAB が法務エージェント分野での進歩に向けた共有基盤を創出し、AI 研究コミュニティと法曹界をつなぐ架け橋となる可能性に、私たちは大きな期待を抱いています。
Legal Agent Benchmark
LAB はクライアント事件中心型のベンチマークです。これは法律事務所で実際に提供される法的業務のあり方を反映するように構築されており、エージェントの実行および評価プロセスの各ステップを、その法的対応物に対応させています：
- 指示：エージェントの指示は、パートナーからアソシエイトへの業務依頼として記述されています。指示は、期待される出力やスタイルに関する詳細な説明ではなく、必要な事項を肯定文で示す形で与えられます。
- 環境：エージェントの環境は顧客事件です。顧客事件とは、法律事務所が顧客に代わって業務を完了するために必要な、ドキュメントやその他の資料からなるクローズド・ユニバース（閉じた世界）のセットを定義するものです。これらのドキュメントには、事件ファイル、事務所のテンプレート、メール通信、およびエージェントが指示を達成するために発見して整理しなければならない他の情報が含まれます。
- 出力：タスクを成功裡に完了するためには、エージェントはレビュー可能な法的成果物を生成しなければなりません。
- 検証：エージェントの作業は、専門家が作成した評価基準（ルブリック）によって採点されます。この評価基準は、フォーマット、事実、分析の観点から正解が何を生成すべきかを概説するものであり、パートナーやクライアントに引き継がれる際に成果物が受ける審査を模倣しています。
image法的業務の模倣
この顧客事件中心の構造は、LAB において各タスクを定義する際の基盤です。各タスクは、単にエージェントが法的質問に答えられるかどうかを試すだけでなく、開かれた課題（オープン・エンドなアサインメント）をどのように処理できるかも試すように設計されています。
タスクの定義
LAB の各タスクは、エージェントが現実世界の業務をナビゲートする能力を試すために構築されています。指示は短く、平均してわずか 50 語です。環境には主要ファイルと周辺ファイルが混在し、複数の文書にわたって課題が埋め込まれています。エージェントは曖昧な指示から始め、関連文書全体にわたって文脈を構築し、その文脈を用いて必要な成果物を生成する必要があります。
一例として、ある企業買収・合併（M&A）タスクでは、エージェントに対し、4 億 5800 万ドルの 100% 株式取引に伴う Crestview Software Solutions の提案された（架空の）買収に関連する支配権移転条項を分析するよう求めています。
image 例：M&A タスク
入力として、エージェントは取引の背景情報を含むファイルシステム、バーチャル・データルーム（仮想資料室）、およびパートナーからの短い指示を受け取ります。この指示では、データルームのレビュー、支配権移転条項の特定、取引へのリスク評価、次のステップの推奨、ならびに取引チームと取締役会向けにレビュー可能なドラフトメモランダムの作成が求められています。データルームには関連文書の混合が含まれており、8 つの重要契約やその他の周辺資料（例：10-K 報告書、延期給付計画など）が含まれますが、これらが分析に関連するかどうかは状況によります。タスクを完了するには、エージェントはどのファイルが重要かを特定し、それらを文脈の中で読み込み、関連する条項を事案全体にわたって統合する必要があります。
必要な出力は、レビュー可能なデールチームメモです。これには、リスクマッピングを含むエグゼクティブサマリー、関連条項ごとの契約分析、重大度評価、特定された各リスクを緩和する方法に関する推奨事項など、その他多くの要素が含まれる必要があります。
タスクの評価
エージェントがタスクを完了すると、最終出力はパートナーまたはクライアントによる詳細なレビューを反映するように設計された専門家向けルブリックに対して採点されます。各ルブリックは、ステークホルダーが提出された成果物で厳密に検討する要素を、原子レベルの二値式（合格/不合格）基準に分解します。具体的には、事実、結論、引用、重大度評価、推奨事項、期限、金額、書式選択です。各基準は特定の成果物ファイルに関連付けられています。これにより、実行間を通じてルブリックが一定に保たれます。同じ基準は LLM 判定器によって適用可能であり、モデル比較や変更の活用に使用でき、また各基準ごとの報酬信号としてエージェントのトレーニングループにフィードバックされます。
imageタスクの評価
コントロール変更に関するタスクの場合、ルブリックには 9 つの法的課題に配置された 57 の基準が含まれています。各課題は、基礎となる事実、重大度評価、財務的エクスポージャー、推奨される行動をカバーする 4 から 9 の基準に分解されています。
評価基準の範囲は、コントロール権変更後にピナクルライセンスが独占性を非独占性へ転換するかどうかといった単純な確認から、財務リスクの集計計算や、統合された同意・免除のタイムライン構築、契約間における一貫しないコントロール権変更定義の整合性確認など、より詳細な作業成果物に対する確認まで多岐にわたります。
重要なのは、タスクが完了とみなされるのはすべての基準をパスした場合のみであり、これを「オールパス評価」と呼ぶ点です。10 のリスクのうち 8 つを特定したデールチームのレポートは、有用性が 80% であるわけではありません；それは本質的に不完全です。見落とされた課題が、取引経済条件を変化させたり、クロージング前に分析の再実施を必要としたり、あるいはクローミング後に問題として表面化する可能性があります。
「オールパス評価は、実務において高リスクな法的作業がどのようにレビューされるかを反映しています——大半の問題に気づいたとしても、部分的な加点はありません。」
プラクティスエリア別分布
コントロール権変更に関するタスクは、LAB における 1,250 のタスクの一つであり、24 の法務プラクティスエリアにまたがっています。大手ファームには数百の異なるプラクティスが存在するため、今回の初期リリースでは、アソシエイトが日常的に遭遇する取引・助言・規制・訴訟業務を代表するセットに焦点を当てています。
imageプラクティスエリア別分布
ベンチマークの規模拡大のため、各専門分野で実務弁護士が担当した実際の顧客事例から始めました。その後、これらの事例を、新米弁護士に通常割り当てられる個別タスクに分解しました。今回のリリースに含まれる 24 の専門分野は網羅的なものではなく、その分野内でも多くのタスクタイプがまだカバーされていません。今後のリリースでは既存の分野内でより多くのタスクを追加し、法務部門以外の法律事務所の実務にも拡大し、さらに法務部門を超えて社内法務や資産運用・銀行業務などの隣接する知識労働ドメインも対象とします。
コミュニティとの連携
LAB は、私たちが初めて完全にオープンソース化したベンチマークです。LAB の拡張と開発を続けるにあたり、以下の分野での協力を模索しています：
- 弁護士：既存のタスクの見直し、評価基準の監査、および実際の業務を反映した新しいタスクファミリーへの貢献を通じて、ベンチマークの有効性を検証し改善すること。
- 法律事務所：事務所の業務を定義するワークフロー、納品物、レビュー基準をより正確に把握できるよう支援し、ベンチマークがエージェントの現状を意味のあるかつ実行可能な形で理解できることを保証すること。
- 法務技術者（Legal Technologists）：法務ワークフローに特化したドメイン固有のスキル、ツール、およびエージェントを開発すること。
- エージェント研究者：長期にわたる作業における計画、検索、ツール利用、メモリ管理、およびハッチ設計を改善すること。
- AI ラボ：信頼性の高い法的成果物を生成できる能力に優れたポストトレーニングモデルの開発に取り組むこと。
「私たちの目標は、法的エージェントのパフォーマンスと進捗を測定するための透明性のある手段を提供するだけでなく、法務分野および AI 分野における研究の進展を加速させることです。」
また、すでにベンチマークへの貢献や、それによって可能になる研究方向性の確立に寄与してくださった以下の研究グループにも感謝申し上げます。
1 of 18
オープンソースでの公開は、この取り組みを広げることを意図しています。モデルプロバイダー、スタートアップ、研究者、法務 AI 企業、および法律事務所に対し、ベンチマークの実行、評価基準の監査、ハッチの改善、新しいタスクファミリーへの貢献、そして次期に法的エージェント評価が何を測定すべきかを定義する支援を呼びかけます。
次に何をするか
この LAB の最初のバージョンは、法務エージェントの評価におけるいくつかの重要な課題に対応していますが、これはまだ始まりに過ぎません。今後は、LAB を主に 3 つの分野で拡張する計画です。
- すべての大手法律事務所の専門分野およびその分野内のタスクへの対応範囲を拡大すること。
- 法律事務所だけでなく、社内法務部門から資産運用会社、銀行家、税理士などの非弁護士に至るまでの他の専門サービスワークフローへの対応範囲を拡大すること。
- タスクのカバー範囲とサンプルの多様性を改善し、評価のためだけでなく、ファインチューニングやトレーニングを通じてモデルを向上させるためにも使用できるデータセットの構築に重点を置くこと。
私たちの全体的な目標は、法務界と AI 界が、エージェントが今日どこで有用であるか、そして時間をかけてどのように改善するかを理解できるよう支援することです。それには、ハービー以外の多様な意見が必要です。研究者、弁護士、および実際のクライアント業務でエージェントを使用している法律事務所が、ベンチマークのテストやタスクへの負荷試験を行い、シグナルが最も明確な箇所や欠けている箇所を報告してくれることを求めています。特に法律事務所にとっては、LAB はワークフローのどの部分をエージェントに委譲できるか、どこで弁護士のレビューが最も重要かを理解し、まだ改善が必要な機能が何かを明らかにするために役立ちます。
今後数週間で、このベンチマークにおいてさまざまなモデルやエージェントを評価した初期結果を発表していく予定です。LAB に関するフィードバックをお持ちの方、データセットを用いた研究を行いたい方、あるいは特定のタスクや成果の評価に関心のある方は、ブログの執筆者リストに記載されているハーベイの研究チームのメンバーのいずれかにご連絡ください。
謝辞
本プロジェクトは、ハーベイ内の各部門および外部パートナーからの多大なご支援がなければ実現し得ませんでした。Spencer Poff は GitHub リポジトリのオープンソース部分における技術責任者を務め、初期のハーンチ設計やエージェントのサンドボックス化、ベンチマークのオープンソース化に向けた多くの作業を主導しました。Julio Pereyra はタスク設計を率い、タスク作成のスケーラビリティを実現する革新的なドキュメントおよびシナリオ生成パイプラインを開発しました。セキュリティチームの Nick Gonella 氏、AI プラットフォームチームの Chris Paradis 氏、Gary Lam 氏、Bronwyn Austin 氏、Jinfeng Zhuang 氏、アシスタントチームの Phil Cerles 氏、Philip Lan 氏、応用法務調査部門の Laura Toulme 氏、Blake Chizen 氏、Nick Gillies 氏、ブランド担当の Shawn Farsai 氏、そしてベンチマークに関する継続的なフィードバックを提供いただいた Nico Belmonte 氏、Tara Waters 氏、Ryan Samii 氏、Joe Marando 氏、Farrah Pepper 氏、Joe Cohen 氏にも特に感謝いたします。また、本記事に対するフィードバックを寄せてくださった Dan Biderman 氏、Neel Guha 氏、Velen Wu 氏、Reinhard Heckel 氏にも御礼申し上げます。
原文を表示
We’re introducing Harvey’s Legal Agent Benchmark (LAB), an open-source benchmark for legal agents. LAB was built to evaluate and improve agent capabilities for supporting real world work done by lawyers. Each task consists of an instruction, a client matter containing relevant materials, and a requirement that the agent produce a work product for review. This structure is designed to mirror how work is assigned, performed, and reviewed at large law firms.
The goal of LAB is to provide a clear picture of how agents can be deployed to support legal work in the real world. By articulating where agents can do all, some, or none of a task, LAB helps law firms measure the ROI of AI investments and where such investments can augment their teams’ work.
The first version of LAB includes more than 1,200 agent tasks across 24 legal practice areas, and is evaluated by over 75,000 expert-written rubric criteria. We are open-sourcing LAB to give model providers, agent builders, researchers, and law firms a shared way to measure progress on long-horizon legal agents.
We're intentionally launching LAB without a leaderboard because we expect the dataset to evolve over time and we want to work with the community to ensure results are clear and intuitive in how they convey agent performance. In the coming weeks we will work with research partners to get baseline results on LAB and publish a leaderboard to provide perspective on the current state of legal agents. In addition, we will publish standards for normalizing submissions to allow people to identify improvements and track benchmark progress as the benchmark itself evolves with new tasks, practice areas, and knowledge work disciplines.
You can find the open-source version of LAB here.
Why we built an agent benchmark
At Harvey, we have spent the past year building agents for the legal domain. This has forced us to think deeply about how to measure their performance on real-world legal tasks.
To date, there has not been a benchmark that illustrates agent progress for long-horizon legal work. Existing evaluations, including LegalBench, CUAD, LEXam, and our own earlier work on BigLaw Bench, have graded short-horizon reasoning: read a contract, answer a question, compare cases, or analyze an argument.
In coding, agent benchmarks have served as an important leading indicator of agent capability. For example, agent scores on SWE-Bench Pro, SWE-Bench Verified, and Terminal-Bench 2.0 reflected a step-function improvement around the same time our engineering team started to feel the shift in practice; a moment crystallized by Karpathy’s observation that coding agents “basically didn’t work before December and basically work since”.
That pattern is now extending beyond coding. Benchmarks such as GDPval, OSWorld-Verified, BrowseComp, MCP Atlas, FinanceAgent, Humanity’s Last Exam, and APEX-Agents have helped make progress legible across real-world knowledge work, computer use, web research, tool use, financial analysis, frontier reasoning, and professional-services tasks.
LAB is intended to provide this same legible index to law firms seeking to deploy and maximize ROI from AI systems. Understanding where agents are capable across practice areas allows firms to identify opportunities to deploy them in order to accelerate client value while moving lawyers to a high-leverage delegate and review pattern. Identifying areas where agents struggle also allows firms to understand where task execution should remain heavily human-in-the-loop. Combined, this context allows law firms to make deployment decisions that are both responsible, secure, and maximally effective for their clients.
Initial results on LAB for leading open and closed-source models will be published in the coming weeks following additional input from research partners and feedback from the community. These conversations will ensure that benchmark scores represent agent performance in a clear, unbiased, and transparent manner. This release will also provide guidance for submitting benchmark runs under normalized conditions to allow third-parties to communicate improvements made on any part of the agent stack and to track how scores change as the benchmark evolves with new tasks and other extensions.
A strong public benchmark doesn’t only measure progress, it helps accelerate it. We are already seeing LAB being used by both our internal teams for product evaluation and the larger research community to explore open-weight post-training, auto-research, memory, domain-specific legal skills, and harness optimizations for long-horizon agent work. We’re excited for the potential of LAB to create a shared foundation for progress on legal agents, and to help bridge the AI research and legal communities.
Legal Agent Benchmark
LAB is a client matter-centric benchmark. It is built to mirror how legal work is actually delivered at a law firm, and we’ve mapped each step of the agent execution and evaluation process to its legal counterpart:
- Instructions: The agent’s instructions are written as a request for work from a partner to an associate. Instructions are given as affirmative statements of what is required rather than detailed explanations on expected outputs or style.
- Environment: The agent’s environment is a client matter. The client matter defines a closed-universe set of documents and other materials that are needed for the law firm to complete work on behalf of the client. These documents can include matter files, firm templates, email communications, and other information that an agent must discover and sort through in order to accomplish the instructions.
- Output: To complete tasks successfully, the agent must produce reviewable legal work product.
- Verification: The agent’s work is graded by expert rubrics, which outline what a correct answer must produce in terms of format, facts, and analysis. These criteria emulate the scrutiny work product undergoes when handed off to partners and clients.
This client matter-centric structure is the foundation for how we define each task in LAB. Each task is designed not just to test whether an agent can answer a legal question, but whether it can navigate open-ended assignments.
Defining a task
Each task in LAB is built to test agent capabilities to navigate real world work. Instructions are short, averaging just fifty words. Environments mix key and peripheral files and embed issues across multiple documents. An agent must start from a loose instruction, build context across the matter files, and use that context to produce the relevant deliverables.
As an example, one corporate M&A task asks the agent to analyze change-of-control provisions in connection with the proposed (fictional) acquisition of Crestview Software Solutions in a $458 million, 100% equity transaction.
As input, the agent receives access to a file system containing the background on the deal, a virtual data room and a short instruction from the partner asking the agent to review the data room, identify change-of-control provisions, assess the risk to the deal, recommend next steps, and prepare a review-ready draft memorandum for the deal team and Board. The data room contains a mix of relevant documents – including eight material contracts and other adjacent materials (e.g. 10-K, deferred compensation plan, etc) that may or may not be relevant to the analysis. To complete the task, the agent must determine which files matter, read them in context, and synthesize the relevant provisions across the full matter.
The required output is a reviewable deal-team memo. It must include, amongst other things, an executive summary with a risk mapping, a contract-by-contract analysis of the relevant provisions, severity ratings, and recommendations on how to mitigate each risk identified.
Evaluating a task
When the agent completes the task, the final output(s) are graded against expert rubrics intended to reflect detailed review by a partner or client. Each rubric breaks down what these stakeholders would scrutinize in a submitted deliverable into atomic, binary pass/fail criteria: facts, conclusions, citations, severity ratings, recommendations, deadlines, dollar amounts, and formatting choices. Each criterion is tied to a specific deliverable file. This also makes the rubric consistent across runs. The same criteria can be applied by an LLM judge, used to compare models and harness changes, and fed back into agent training loops as per-criterion reward signals.
For the change-of-control task, the rubric contains 57 criteria covering nine legal issues planted across the matter. Each issue is broken into four to nine criteria, covering the underlying facts, severity rating, financial exposure, and recommended action.
The rubric criteria span a range of complexity, from straightforward checks, such as whether the report identifies that the Pinnacle license converts exclusivity to non-exclusivity after a change of control, to checks on more detailed work product, such as whether the report calculates aggregate financial exposure, builds a consolidated consent and waiver timeline, and reconciles inconsistent change-of-control definitions across the agreements.
Importantly, a task is marked complete only if every criterion passes, a concept we refer to as all-pass grading. A deal-team report that identifies eight of ten risks is not 80% useful; it is materially incomplete. The missing issue could change deal economics, require the analysis to be redone before closing, or surface as a problem after the deal closes.
“All-pass grading reflects how high-stakes legal work is reviewed in practice — there is no partial credit for catching most of the issues.”
Practice area distribution
The change-of-control task is one of 1,250 tasks in LAB, spanning 24 legal practice areas. Large firms have hundreds of distinct practices, so this initial release focuses on a representative set of transactional, advisory, regulatory, and litigation work that associates regularly encounter.
To scale the benchmark, we started with real client matters handled by practicing lawyers in each practice area. We then broke those matters into the discrete tasks an associate would typically be delegated to complete. The 24 practice areas in this release are not exhaustive, and many task types within those areas remain uncovered. Future releases will add more tasks within existing areas, expand into additional law firm practices, and move beyond law firms to cover in-house legal work and adjacent knowledge-work domains such as asset management and banking.
Building with the community
LAB is our first fully open-source benchmark. As we continue to expand and develop LAB we are interested in collaborating with:
- Lawyers: To validate and improve the benchmark by reviewing existing tasks, auditing rubrics, and contributing new task families that reflect the work they actually do.
- Law Firms: To help us better capture the workflows, deliverables, and review standards that define the work they do and to ensure that the benchmark helps them understand the state of agents in a meaningful and actionable way.
- Legal Technologists: To build domain-specific skills, tools, and agents for legal workflows.
- Agent Researchers: To improve the planning, retrieval, tool use, memory, and harness design for long-horizon work.
- AI Labs: to work on post-training models that are better at producing reliable legal work product.
“Our goal is to not only provide a transparent way to measure performance and progress in legal agents, but also to accelerate research progress within the legal and AI communities.”
We’d also like to acknowledge the following research groups who have already made contributions to the benchmark and the research directions that it enables:
1 of 18
The open-source release is meant to expand this work. We want model providers, startups, researchers, legal AI companies, and law firms to run the benchmark, audit the rubrics, improve the harness, contribute new task families, and help define what legal agent evaluation should measure next.
What’s next
This first version of LAB addresses several important challenges in evaluating legal agents, but it is only the beginning. Over time, we plan to expand LAB in three main areas:
- Expanding coverage to all Biglaw practice areas and coverage of tasks within those practice areas.
- Expanding coverage beyond law firms to cover other professional service workflows from in-house counsel, to non-lawyers like asset managers, bankers, and tax professionals.
- Improving task coverage and sample diversity with an emphasis on building datasets that can be used not only for evaluation but for improving models through fine-tuning and training.
Our overall goal is to help the legal and AI communities understand where agents are useful today, and how to make them better over time. That will require input from more than Harvey. We need researchers, lawyers, and firms using agents in real client work to help test the benchmark, pressure-test the tasks, and tell us where the signal is clearest or missing. For law firms in particular, LAB is meant to help understand which parts of a workflow can be delegated to agents, where lawyer review matters most, and what capabilities still need to improve.
In the coming weeks, we’ll be sharing initial results benchmarking a variety of models and agents on this benchmark. If you have feedback on LAB, want to conduct research using the dataset, or are interested in evaluating specific tasks or outcomes, please reach out to any member of the Harvey research team listed in the blog byline.
Acknowledgements
This work would not have been possible without the tremendous support of our internal teams at Harvey and our external partners. Spencer Poff was the technical lead for the open source portion of the Github repo, spear-headeding much of the early harness design, agent sandboxing, and work to make the benchmark open-source. Julio Pereyra led task design, developing a novel document and scenario generation pipeline that helped us scale task creation. Special thanks also go to Nick Gonella from our Security team; Chris Paradis, Gary Lam, Bronwyn Austin, and Jinfeng Zhuang from our AI Platform team; Phil Cerles and Philip Lan from our Assistant team; Laura Toulme, Blake Chizen, and Nick Gillies from Applied Legal Research; Shawn Farsai from Brand; and Nico Belmonte, Tara Waters, Ryan Samii, Joe Marando, Farrah Pepper, and Joe Cohen for ongoing feedback on the benchmark. We’d also like to thank Dan Biderman, Neel Guha, Velen Wu, Reinhard Heckel for providing feedback on this post.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み