エージェント実行トレースから学習しハネスを自動最適化する「AutoSaddler」

LLM エージェントは、小さな局所的な失敗が長い相互作用の間に積み重なり、最終的にタスク全体の失敗につながるような長期ホライズンのタスクにおいて依然として信頼性が低い課題を抱えています。外部ハルネス（harness）を導入することで堅牢性を大幅に向上させることは可能ですが、ハルネス設計は現在も手作業による高コストのプロセスであり、膨大な数のプロンプト、ツール設定、制御ロジックの中から最適な組み合わせを検索する必要があります。

そこで私たちは、ハルネスの改善をオフライン学習問題として定式化し、ミニバッチからの失敗信号を用いてハルネスを反復的に更新する自動最適化フレームワーク「AutoSaddler」を提案します。AutoSaddler は、失敗トレースの診断機能と、ハルネスをコードとして扱う構造化されたパッチ生成、そして検証に基づく更新選択という 3 つの要素を組み合わせています。

GAIA2、SWE-Bench Pro、Terminal-Bench 2.0 における実験結果では、AutoSaddler は対応するベースラインハルネスと比較してエージェントのパフォーマンスを大幅に向上させ、それぞれで 9.0、9.6、10.0 パーセントポイントの改善を実現しました。アブレーションスタディ（除去実験）からは、効果的なハルネス最適化には以下の 3 つの要素が重要であることが示唆されています。

• 表面的な内省ではなく、深いデバッグの実施
• 無制限な編集ではなく、対象を絞った修正
• 特定の軌道への修復ではなく、一般化を意識した選択

これらの結果は、自動ハルネス最適化が、より高性能で信頼性の高いエージェントシステムを実現するための有望な道筋であることを示唆しています。