AIエージェントキャッチアップ #67 - Harbor を開催
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Generative Agents
サンドボックス環境でAIエージェントを評価するフレームワーク「Harbor」についての勉強会を開催し、その概要と関連リソースを紹介しました。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
「AIエージェントキャッチアップ #67 - Harbor」を開催しました
ジェネラティブエージェンツの大嶋です。
「AIエージェントキャッチアップ #67 - Harbor」という勉強会を開催しました。
generative-agents.connpass.com
www.youtube.com
今回は、サンドボックス環境でエージェントを評価するためのフレームワーク「Harbor」をキャッチアップしました。
HarborのGitHubリポジトリはこちらです。
公式ドキュメントはこちらです。
harborframework.com
Harborは、Terminal-Benchの作成者が公開したフレームワークです。
コンテナなどのサンドボックス環境でエージェントを実行するため、コーディングエージェントのようにコマンド実行やファイル変更を含むエージェントの評価に適しています。
Harborは、LangChainがDeepAgents CLIをTerminalBench 2.0で評価した解説記事でも紹介されています。
blog.langchain.com
Harborの主要概念を紹介します。
エージェント：タスクを遂行するプログラム
タスク：instruction（指示）・environment（コンテナ環境）・test（評価スクリプト）などから成る評価単位
コンテナ環境：Docker、Daytona、 Modal、E2Bなどのランタイム
エージェントもデータセットもカスタマイズ可能であり、独自のエージェントや独自のデータセットの評価にも使用可能です。
harborframework.com
対応ベンチマーク・データセット
Harborは、Terminal-Bench 2.0やSWE-benchなど、多数のベンチマーク・データセットに対応しています。
もともとTerminal-Bench 2.0向けに開発されているため、Terminal-Bench 2.0のデータセットはそのまま使用できます。
その他のベンチマークについては、Harborの形式への変換とアダプターの実装が必要となります。
https://github.com/laude-institute/harbor-datasets/tree/main/datasets/swebench-verified
https://github.com/laude-institute/harbor/tree/main/adapters/swebench
Harborのデータセット（タスク）の形式は以下のようになります。
<タスク名>/ ├── instruction.md # エージェントへの指示 ├── task.toml # タスクの設定・メタデータ ├── environment/ │ ├── Dockerfile # コンテナ環境の定義 │ └── ... ├── solution/ │ ├── solve.sh # 参考解答スクリプト（オプション） │ └── ... └── tests/ ├── test.sh # 評価スクリプト └── ...
harborframework.com
実際にHarborをインストールし、Claude Code × Terminal-Bench 2.0で動かしてみました。
uv tool install harbor
harbor run \ --dataset terminal-bench@2.0 \ --agent claude-code \ --model anthropic/claude-opus-4-1 \ --n-tasks 1
実行すると、Terminal-Bench 2.0に含まれるタスクの1つ（gpt2-codegolf）が処理されました。
Harborでは、独自のエージェントを評価対象として使うこともできます。
Harborのライブラリが提供するBaseAgentクラスを継承することで、独自のエージェントを評価対象にできます。 また、Claude CodeのようなCLIのエージェントを使用するための、BaseInstalledAgentというクラスも用意されています。
harborframework.com
実際にLangChainは、Deep Agents CLIをHarborで評価するためのラッパーを実装しています。
以上、今回は「Harbor」をキャッチアップしました。
次回は「AIエージェントキャッチアップ #68 - AI-DLC」ということで、AWSが公開したソフトウェア開発ワークフロー「AI-DLC（AI-Driven Development Life Cycle）」がテーマです！
generative-agents.connpass.com
ご興味・お時間ある方はぜひご参加ください！
また、その次の回以降のテーマも募集しているので、気になるエージェントのOSSなどあれば教えてください！
原文を表示
ジェネラティブエージェンツの大嶋です。
「AIエージェントキャッチアップ #67 - Harbor」という勉強会を開催しました。
generative-agents.connpass.com
www.youtube.com
今回は、サンドボックス環境でエージェントを評価するためのフレームワーク「Harbor」をキャッチアップしました。
HarborのGitHubリポジトリはこちらです。
公式ドキュメントはこちらです。
harborframework.com
Harborは、Terminal-Benchの作成者が公開したフレームワークです。
コンテナなどのサンドボックス環境でエージェントを実行するため、コーディングエージェントのようにコマンド実行やファイル変更を含むエージェントの評価に適しています。
Harborは、LangChainがDeepAgents CLIをTerminalBench 2.0で評価した解説記事でも紹介されています。
blog.langchain.com
Harborの主要概念を紹介します。
エージェント：タスクを遂行するプログラム
タスク：instruction（指示）・environment（コンテナ環境）・test（評価スクリプト）などから成る評価単位
コンテナ環境：Docker、Daytona、 Modal、E2Bなどのランタイム
エージェントもデータセットもカスタマイズ可能であり、独自のエージェントや独自のデータセットの評価にも使用可能です。
harborframework.com
対応ベンチマーク・データセット
Harborは、Terminal-Bench 2.0やSWE-benchなど、多数のベンチマーク・データセットに対応しています。
もともとTerminal-Bench 2.0向けに開発されているため、Terminal-Bench 2.0のデータセットはそのまま使用できます。
その他のベンチマークについては、Harborの形式への変換とアダプターの実装が必要となります。
https://github.com/laude-institute/harbor-datasets/tree/main/datasets/swebench-verified
https://github.com/laude-institute/harbor/tree/main/adapters/swebench
Harborのデータセット（タスク）の形式は以下のようになります。
<task-name>/ ├── instruction.md # エージェントへの指示 ├── task.toml # タスクの設定・メタデータ ├── environment/ │ ├── Dockerfile # コンテナ環境の定義 │ └── ... ├── solution/ │ ├── solve.sh # 参考解答スクリプト（オプション） │ └── ... └── tests/ ├── test.sh # 評価スクリプト └── ...
harborframework.com
実際にHarborをインストールし、Claude Code × Terminal-Bench 2.0で動かしてみました。
uv tool install harbor
harbor run \ --dataset terminal-bench@2.0 \ --agent claude-code \ --model anthropic/claude-opus-4-1 \ --n-tasks 1
実行すると、Terminal-Bench 2.0に含まれるタスクの1つ（gpt2-codegolf）が処理されました。
Harborでは、独自のエージェントを評価対象として使うこともできます。
Harborのライブラリが提供するBaseAgentクラスを継承することで、独自のエージェントを評価対象にできます。 また、Claude CodeのようなCLIのエージェントを使用するための、BaseInstalledAgentというクラスも用意されています。
harborframework.com
実際にLangChainは、Deep Agents CLIをHarborで評価するためのラッパーを実装しています。
以上、今回は「Harbor」をキャッチアップしました。
次回は「AIエージェントキャッチアップ #68 - AI-DLC」ということで、AWSが公開したソフトウェア開発ワークフロー「AI-DLC（AI-Driven Development Life Cycle）」がテーマです！
generative-agents.connpass.com
ご興味・お時間ある方はぜひご参加ください！
また、その次の回以降のテーマも募集しているので、気になるエージェントのOSSなどあれば教えてください！
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み