Hugging Face、曖昧な目標からの自己進化モデル「ASPI」を発表

多くの重要な人間の学習は、「より良い物理学者になる」「研究能力を向上させる」といった漠然とした目標から始まります。学習者はこの目標を解釈し、自身の能力のギャップを特定し、どのように学ぶかを決め、実際に向上したかどうかを判断する必要があります。

一方、既存の大規模言語モデル（LLM）の自己進化に関する研究は、人間が指定したタスクや評価指標を出発点とする傾向があります。これにより、自己進化は「何を」「どのように学ぶか」を決定するプロセスではなく、明示的な目的を最適化する作業に矮小化されてしまっています。

そこで私たちは、漠然とした目標に基づく自己進化のためのベンチマーク「ASPIRE」を発表します。ASPIRE は、自然言語で記された能力目標のみを提供し、下流の評価タスクは非公開のままです。エージェントはこの目標を具体化するために、データの選択や更新方法の決定、トレーニングおよび検証信号の構築、そして評価を行うタイミングの判断を自ら行わなければなりません。

ASPIRE は、モデルの重み（weight）とエージェント・ハネス（harness）の両方の進化を、統合されたインタラクティブな環境でサポートします。その結果得られたシステムは、6 つの目標にわたる専門家によって作成された 520 件の非公開評価項目セットを用いて検証されます。

私たちの実験によると、漠然とした目標は探索の努力を「目標の解釈」へと向けることが示されました。現在のエージェントはトレーニングやハネス編集のルートを通常通り完了しますが、重みレベルでの改善は希薄で不安定です。また、最も強力に進化させたハネスも、エンジニアリングされた Qwen-Agent の参照値には及びませんでした。

多くの場合、エージェントは適合しないデータで学習し、狭義の自己評価を過信します。その結果、局所的な改善が非公開の評価では転移せず、探索とトレーニングを続けると、以前の改善が失われてしまうのです。