すべてがロールアウトへ：Terminal-Bench、Harbor、Laude Institute

「すべてはロールアウトへ」：AI エージェント開発における評価の標準化と「Harbor」の登場

従来のソフトウェアエンジニアリングが「実行前に挙動を確定させる」世界だったのに対し、AI エージェント開発は不確実性を含む機械学習の一部へとパラダイムシフトしています。この変化に対応するため、生成されたコードやエージェントのパフォーマンスを管理する新しいツールセットが必要不可欠です。特に注目すべきは、評価（Evaluation）と最適化のプロセスを標準化するオープンソースフレームワーク「Harbor」の登場であり、これが企業に自社固有の基準でモデルを選定・改善する道を開きます。

2018 年と 2026 年のソフトウェアエンジニアリング：不確実性の時代へ

2018 年のソフトウェア開発を振り返ると、コードは完璧に近いものでした。同僚が提出した数百行のプルリクエストには美しい名前や洗練されたロジックがあり、レビューを通じて微調整が行われるのが日常でした。当時のエンジニアは、プログラムを実行する前に「これが動く」ということを 100% の確信を持っていました。

しかし、2026 年（あるいは現在）の状況は一変しています。従来の正規表現（Regex）に代わり、AI モデルが電話番号の抽出を行うコードを例にとってみましょう。AI を使えば、フォーマットが崩れた複雑なデータにも柔軟に対応できる強力なプログラムになります。一方で、同じプログラムを 100 万回実行しても、毎回全く同じ結果が出るか、あるいは何が出力されるかを確信することはもはや不可能です。

「エージェントコーディングは機械学習の一形態である。生成されたコードはブラックボックスの産物として扱い、その挙動や一般化能力は、他の ML モデルと同様に実証的な評価（empirical evaluation）によって管理すべきだ」

このように、AI エージェント開発における不確実性は、タスクが複雑になるほど増大します。私たちは「実行前に結果が確定する」というソフトウェアエンジニアリングの常識から、「実行して初めて結果を知る」機械学習のアプローチへと移行しているのです。

機械学習とエージェント開発のアナロジー

AI エージェント開発を機械学習（ML）と比較すると、その構造は驚くほど似ています。両者を並べてみると、以下の対応関係が見えてきます。

• トレーニングデータ → 環境（Environments）
• テストセット／検証セット → 評価用環境（Eval environments）
• モデルの重み（Weights） → スキル、プロンプト、ツール、またはモデル自体
• 損失関数（Loss function） → 環境からの報酬やフィードバック
• 最適化アルゴリズム（Optimizer） → 文脈ベースの最適化アルゴリズム（例：Jeepa）やループ内のコーディングエージェント
• 勾配降下法（Gradient Descent） → リポジトリへのプルリクエスト

機械学習の世界では、過学習（Overfitting）を防ぐための対策が確立されています。同様に、エージェント開発でも「報酬ハッキング」や過学習という課題が存在します。しかし、ML 向けのツールやプラットフォームが成熟しているのに対し、エージェント開発のための生態系はまだ黎明期にあります。

Harbor：評価と最適化を標準化するフレームワーク

このギャップを埋めるために登場したのが「Harbor」です。Harbor は単なるベンチマークツールではなく、以下の 3 つの役割を持つオープンソースフレームワークです。

1. エージェント環境のフォーマット定義: エージェントがタスクを実行するための「環境」と「検証器（Verifier）」を記述する標準的なディレクトリ形式を提供します。これにより、異なるチームやベンダー間で評価基準を共有・再利用することが可能になります。
2. 並列ロールアウトの実行: あらゆるエージェント、あらゆるモデル、あらゆるサンドボックス上で、並列にタスクを実行（ロールアウト）する基盤となります。
3. ベンチマークのレジストリ: すでに数百もの評価セットやベンチマークが登録されており、業界全体で共通言語として機能しています。

評価のプロセス：環境と検証器

Harbor の核心は、「環境（Environment）」と「検証器（Verifier）」という概念にあります。エージェントの評価を行うには、以下の手順が必要です。

1. 指示の提供: エージェントに何をするべきかを伝える。
2. サンドボックスの実行: エージェントが仮想環境（サンドボックス）内でタスクを実行する場所を用意する。
3. 検証器による判定: エージェントが指示通りに完了したか、時間制限内だったかなどをプログラムmatic なテストやルブリック、あるいは別の AI エージェントによって判定する。

このプロセスは「ロールアウト」と呼ばれます。タスクを開始し、エージェントに実行させ、その結果（トラジェクトリ）を検証器が評価して報酬（スコア）を返す。このフィードバックを基に、プロンプトやモデルのパラメータを最適化するというループが形成されます。

企業にとっての「評価（Eval）」の重要性

では、なぜすべての企業が評価（Eval）を持つ必要があるのでしょうか？答えはシンプルです。「コンピュータを使用するあらゆる企業」が対象となります。もし自社の業務の一部でも自動化できる可能性があるなら、AI エージェントを活用して生産性を向上させるべきです。

「アジェンティックシステムを構築したいなら、まず『重要となる評価』と『成果を採点する方法』から始めよ。そして、すべてのモデルを受け入れよ」

この言葉は、評価基準を持つことの力を示しています。自社独自のデータに基づいて評価基準（Eval）を作成すれば、特定のベンダーやブランドに依存する必要はありません。公開されたベンチマーク結果に盲従するのではなく、自社のコストと性能のバランスをデータで最適化し、最も適切なモデルを選定・改善することが可能になります。

現在、Harbor を用いた評価の対象には主に 4 つの領域があります。例えば、「自社製品やコードベースの構築能力」を評価したり、特定の業務プロセスの自動化効果を測定したりすることです。これにより、企業は単なるプロンプトエンジニアリングの域を超え、データ駆動型の機械学習的なアプローチへと開発プロセスを成熟させることができます。

まとめ

AI エージェント開発における「評価の標準化」は、業界全体の信頼性と再現性を飛躍的に高める鍵となります。Harbor のようなツールが普及することで、企業は自社固有の基準に基づきモデルを選定・改善し、実務レベルでの生産性向上を実現できるでしょう。これからの時代は、不確実性を管理する「評価」こそが競争優位性の源泉となるのです。