Hugging Face、曖昧な目標からの自己進化モデル「ASPI」を発表

記事の3ポイント

1. 1

   ASPIRE ベンチマークの定義

   既存の研究が人間が指定したタスクと指標に基づく最適化に留まるのに対し、ASPIRE は自然言語による曖昧な能力目標のみを提供し、エージェントが学習対象や手法を自ら決定するプロセスを評価する。

2. 2

   実験環境と評価規模

   モデル重みの更新とエージェント・ハーネスの編集を統合したインタラクティブ環境で動作し、6 つの目標に対応する 520 件の専門家作成された隠れた評価項目を用いてシステムを検証する。

3. 3

   現状の限界と課題

   実験結果では、現在のエージェントは学習ルートを誤って選択し、狭義の自己評価に依存して局所的な改善に満足するため、隠れた評価基準への転移が失敗し、継続的な探索が過去の成果を消去する傾向がある。