Hugging Face、自己改善型エージェントモデル「NeoHorse-1」を発表

自己再帰的改善（RSI）を実現するには、AI システムが自らの能力を把握し、その証拠を次の学習サイクルに転換する具体的なメカニズムが必要です。そこで私たちは、この道筋を探るためにエージェント指向のポストトレーニングを通じて開発された「NeoHorse-1」というモデルファミリーを発表します。

本システムは、多様なモデルからなるプールとインテリジェントなルーティングを組み合わせます。各ユーザーのターンごとに、予測される能力要件、選択されたサービス階層、そしてその後のインタラクションを記録します。これらの記録は、推論・ツール呼び出し・ハネス（制御環境）の文脈が交互に組み込まれたまま学習データとして活用されます。データの採用には構造化検証に加え、6 次元のセマンティック評価やサブシーンレベルでのラベル付けが行われます。

ルーティング信号は、教師あり微調整を 3 つの段階からなるカリキュラムへと整理し、同じ進行順序のもとで教師が学生モデルの生成応答を指導する「ルーティング誘導型オンポリシー蒸留」にも拡張されます。さらに、能力指向のアロケーション（割当）によって評価フィードバックを次の学習混合データに変換します。これにより、「システムが何をするかを学ぶことが、次に何を学ぶかを決める」という評価・選択・更新のループが閉じます。

ハネスベースのエージェント、ツール利用、コーディング、指示従順など 11 のベンチマークにわたる結果では、ポストトレーニングによって 4B モデルのマクロ平均スコアは 58.94 から 64.87 に、9B モデルでは 65.60 から 69.04 に向上しました。これにより、ポストトレーニング済みの 4B モデルとベースラインの 9B モデルとの間の集計ギャップは大幅に縮小されています。

NeoHorse-1 は、このフィードバック駆動型プロセスの初期プロトタイプであり、逐次的な反復を通じてハーネスを介した再帰的自己改善（RSI）への道筋を示すものである。