モデルよりハルネスが重要？エッツィ・アディティヤ・バルガヴァ氏

モデルより「ハルネス」が重要？AI エージェントの真の進化を導く新パラダイム

Etsy のシニアエンジニアであり、エージェント推進イニシアチブ責任者のアディティヤ・バルガヴァ氏は、現在流行りの「モデル性能至上主義」に異議を唱えます。彼の主張は明確です。AI エージェントの成否は、使っているモデルそのものよりも、それを動かす「ハルネス（実行環境）」の設計次第で決まります。

既存のベンチマークでは、同じモデルでもハルネスの違いだけで性能に 20 ポイント以上の差が生じることが実証されています。この動画では、大手プロバイダへの依存を脱却し、ローカル動作可能なオープンソースモデルと高度なハルネスを組み合わせることで、より安全で自律的なシステムを構築するための具体的な道筋と、それを支える新言語「Agency」の紹介を行います。

モデル依存からの脱却：なぜハルネスが勝者なのか

多くの開発者が「モデルさえ良ければ、あとはツールをいくつか繋げば勝手にやってくれる」と考えています。しかし、バルガヴァ氏はこの考え方を「間違った方向」と断じます。その理由は、高性能な独自モデル（プロプライエタリモデル）への依存が高コストを生み、かつローカル環境での実行が不可能である点にあります。

ハルネスの重要性を裏付ける驚くべきデータがあります。106 のタスクからなる「Harness Bench」というベンチマークでは、同じモデル、同じ評価設定で異なるハルネスを試した結果、スコアに 52.4% から 76.2% という 20 ポイント以上の差が生まれました。

「弱いモデルほど、ハルネスの影響は大きい。優れたハルネスがあれば、性能の低いモデルでも高パフォーマンスを発揮できる」

もしハルネスの方が重要なら、私たちは「限られた数社の最強モデル」に縛られる必要はありません。誰でも自らのハルネスを設計・構築し、ローカルで動作するオープンソースモデルと組み合わせることで、コストを抑えつつセキュリティを担保した自律型システムを作れるようになります。

ハルネス進化の 6 ステップ：安全かつ自律的なエージェントへ

では、具体的にどうやって優れたハルネスを構築すればよいのでしょうか。バルガヴァ氏は、ゼロからスタートして段階的に機能を追加していく「6 つの進化ステップ」を提案しています。これは単なる機能追加ではなく、安全性と自律性のバランスを最適化するためのプロセスです。

1. ツールの付与：基本機能の獲得

最初のステップは、LLM にツール（関数）を与えることです。例えば、ファイルの読み書きや挨拶をする関数を定義し、エージェントに渡します。これにより、モデル単体では不可能だった外部操作が可能になります。

しかし、この段階ではまだ不十分です。すべての権限を丸投げすれば、エージェントは危険な行動をとる可能性があります。

2. インターラプト（安全性）：人間の承認を得る

次に重要なのが「インターラプト」機能です。ファイルの書き込みや機密データの参照など、破壊的な操作を行う際、実行前に必ず人間に確認を求める仕組みです。

「ある時点で実行を一時停止し、人間の入力を求める。これがエージェントの安全性を担保する第一歩だ」

これにより、誤作動による被害を防げますが、すべてのアクションで人間が介入する必要があり、効率性は低下します。「安全だが遅い」状態です。

3. 部分関数適用：自律化と安全性の両立

ここからが本題です。人間の承認を不要にしながらも、権限を制限する「部分関数適用（Partial Function Application）」という概念を導入します。

これは、関数の特定の引数を固定してしまう技術です。例えば、ファイル読み込みツール read(file, directory) において、directory の値を事前に demo/ に固定してしまいます。すると、LLM は「どのディレクトリから読むか」を選択する余地がなくなり、指定されたフォルダ内のみで操作可能になります。

これにより、人間の介入なしに安全に自律動作できる状態へと進化します。エージェントは必要な権限だけを持ち、それ以上の悪意ある行動をとることができなくなります。

4. 推論（フィードバックループ）：REACT パターンの実装

さらに進んで、エージェント自身に「試行錯誤」させる能力を与えます。これは「Reason and Act（推論と行動）」と呼ばれる REACT パターンです。

1. 推論: コードのバグを分析し、修正案を考える
2. 行動: テストを実行して結果を確認
3. 観察: テストが失敗すればエラーを読み取る
4. 再推論: エラーの原因を特定し、再度修正する

このループを自動で回すことで、エージェントは単にコードを書き換えるだけでなく、「テストが通るまで修正し続ける」自律的な能力を獲得します。

5. サブエージェント：複雑さの管理

タスクが複雑化すると、一つのエージェントにすべての権限とコンテキストを持たせるのは非効率になります。そこで登場するのが「サブエージェント」です。

メインのエージェントは、特定の役割を持つ複数のサブエージェント（例：コーディング担当、ウィキペディア検索担当）を呼び出します。各サブエージェントには、必要なツールのみが紐付けられています。

「コンテキストの肥大化や、関連性の低いツールの多さが失敗の原因になる。サブエージェントを使うことで、問題を明確に定義し、適切なツールを選ばせることができる」

これにより、メインのエージェントは「誰に任せるか」を判断するだけで済み、各サブエージェントは専門的なタスクに集中できます。

6. 自己最適化：体系的な改善へ

最終段階が「自己最適化」です。単なる試行錯誤ではなく、オプティマイザーを使ってパフォーマンスを測定・改善します。

例えば、「median.py のバグを TDD（テスト駆動開発）で修正する」という目標を設定し、オプティマイザーがプロンプトや実行プロセスを自動調整します。これにより、「何が機能するか」を試すのではなく、「どうすれば最も効率的に解決できるか」を体系的に追求できるようになります。

言語レベルでの解決：新言語「Agency」の登場

既存のフレームワークでは、これらの高度なハルネス（特に部分関数適用や実行の一時停止・再開など）をネイティブにサポートするのは困難です。バルガヴァ氏は、この課題を解決するためにエージェント構築専用言語「Agency」を開発しました。

これは TypeScript に強く影響を受けつつ、Python の構文も一部取り入れた新しい言語です。開発からわずか 6 ヶ月ですが、すでに以下の機能をネイティブにサポートしています。

• 部分関数適用: 引数の固定による権限制限を簡潔に記述可能
• インターラプト: コードの変更や破壊的動作時の自動停止と承認フロー
• サブエージェント: 単なる関数呼び出しとして定義・利用可能
• 自己最適化: オプティマイザーを組み込んだ実行環境

「単純なものはシンプルであるべきで、複雑なものは可能であるべきだ。Agency はその理念に基づき、ハルネス構築の専門性を高めるために設計された」

まとめ：開発者主導の自律型システムへ

この動画が示すのは、AI エージェント開発におけるパラダイムシフトです。「最強のモデルに頼る」のではなく、「優れたハルネスを設計する」ことが、コストを抑えつつセキュリティと自律性を両立させる鍵となります。

ローカルで動作するオープンソースモデルと、言語レベルでサポートされた高度なハルネス。この組み合わせこそが、生成 AI のガバナンスと実用化における開発者主導の新たなアプローチを加速させるはずです。今後は、モデルの性能競争よりも、いかに安全かつ効率的な「実行環境」を設計できるかが、AI エージェント開発者の真の実力となるでしょう。