個人エージェントの再帰的自己改善基盤を検証するベンチマーク「PAST-Bench」を公開

記事の3ポイント

1. 1

   PAST-Bench ベンチマークの導入

   エージェントが蓄積した経験を実際の能力向上に転換できるかを体系的に検証するために、26 シナリオと 204 エピソードからなる PAST-Bench が開発された。

2. 2

   改善効果の不均一性と経路検証

   7 つの基盤モデルと 4 つのエージェントフレームワークでの評価により、全体的な改善は確認されるが、その根拠となる保存・検索・更新の経路が明確でないケースも存在することが判明した。

3. 3

   Hermes+ の開発と効果

   検証結果に基づき Hermes に 5 つの介入を追加した Hermes+ が開発され、特に状態の更新が必要なタスクにおいて平均的な改善率と経路証拠が向上した。