エージェント実行トレースから学習しハネスを自動最適化する「AutoSaddler」

記事の3ポイント

1. 1

   自動ハッチス最適化の提案

   LLM エージェントの長期タスクにおける失敗を補うため、外部ハッチスの設計をオフライン学習問題として定式化した「AutoSaddler」フレームワークが提案された。

2. 2

   3 つの主要技術要素

   同システムは、失敗トレース診断、コードとしての構造化パッチ生成、検証に基づく更新選択という 3 つの要素を組み合わせることで機能する。

3. 3

   ベンチマークでの性能向上

   GAIA2、SWE-Bench Pro、Terminal-Bench 2.0 における実験で、対応するベースハッチスと比較してそれぞれ 9.0、9.6、10.0 ポイントの性能向上が確認された。