Hugging Face、LLM 自己改善フレームワーク「SPADE」を公開
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
SPADE は単一の LLM が環境設計者と推論エージェントの二役を演じる自己学習フレームワークであり、固定された訓練環境に依存せず、モデル能力の限界に近い課題を自動生成することで数学・科学・コード分野での性能を大幅に向上させる。
AI深層分析を開く2026年8月20日 14:35
AI深層分析
キーポイント
二重役割による自己プレイ構造
単一の LLM が「環境設計者」として実行可能なトレーニング環境をコードで記述し、「推論エージェント」としてそれらを学習する、双方向的な自己プレイ RL フレームワークである。
動的かつ適応的な目標生成
既存の固定された環境プールとは異なり、エージェントの能力の限界（エッジ）に位置しつつ実行可能な課題を継続的に生成し、学習目標の分布を動的に変化させる。
大規模モデルでの性能向上
30B パラメータ規模で評価した結果、固定環境ベースラインに対し数学・科学・コード分野で平均 +5.3 向上し、ツール使用設定でも大幅な改善を示した。
成功に寄与する構成要素
環境設計者に大規模事前学習コーパスからの文書に基づいたグラウンディングと、蓄積された環境メモリを与えることが、システムの成功に不可欠であることが実証された。
重要な引用
We introduce SPADE (Self-Play in Adaptive Synthetic Executable Environments), a self-play RL framework in which a single LLM plays two roles: an Environment Designer that writes complete, long-horizon training environments as executable code... and a Reasoning Agent that learns to act in them.
Scaling to 30B-parameter models, SPADE improves over the strongest fixed-environment baseline by +5.3 on average across eight held-out math, science, code, and reasoning benchmarks
By making environment design itself a learnable component, SPADE takes a concrete step toward open-ended self-improvement.
編集コメントを表示
編集コメント
環境設計を学習可能な要素として組み込むという発想は、従来の静的な評価セットに依存する手法からの明確な転換点となる。30B パラメータ規模での実証結果は、大規模モデルにおける自己改善のポテンシャルを具体的に示しており、今後の研究開発において重要な指針となるだろう。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
継続的な自己改善には、自ら生成した多様で適応可能な目標のプールを常に拡大していく必要があります。言語エージェントにおいて、既存のトレーニング環境プール（手作業による選定、静的に合成されたもの、または固定された検証器）は、学習者がスケールするにつれて目標分布が固定されたままとなります。
そこで私たちは、SPADE(Self-Play in Adaptive Synthetic Executable Environments) を提案します。これは単一の LLM が 2 つの役割を担う自己プレイ型強化学習フレームワークです。1 つ目は「環境設計者」で、OpenAI Gym スタイルの reset()/step() インターフェースを持つ完全な長期ホライゾンのトレーニング環境を実行可能なコードとして記述します。もう 1 つは「推論エージェント」で、これら環境の中で行動を学習します。
両者は状態保持型のマルチターン環境（状態遷移、報酬関数、検証コードを含む）であり、1 つのインターフェースが推論問題と多段階のアジェンシー・ツール使用を跨いで機能します。推論エージェントのレグレットは、特権的なヒントありの場合となしの場合の報酬差を用いて推定されます。このレグレット信号を最適化することで、環境設計者はエージェントの能力の限界に位置するが、かつ実行可能な環境をターゲットとして学習していきます。
広範な実験を通じて、成功にはいくつかの要素が不可欠であることが分かりました。それは、大規模な事前トレーニングコーパスからサンプリングした文書に基づいて環境設計者を grounding すること、および累積された環境メモリを与えることです。
SPADE は 30B パラメータ規模のモデルにスケーリングすることで、数学・科学・コード・推論の 8 つの保持されたベンチマークにおいて、最も強力な固定環境ベースラインを上回る平均 +5.3 の性能向上を実現しました。また、ツール使用設定では BFCL-v4 のマルチターンで +5.7、ACEBench-Agent で +13.9 の改善を達成しています。ゲーム分野においても、モデル規模が大きくなるほど最強のベースラインとの差が拡大する結果となりました。
環境設計そのものを学習可能なコンポーネントとして取り込むことで、SPADE はオープンエンドな自己改善に向けた具体的な一歩を踏み出しました。
原文を表示
Continuous self-improvement requires an ever-expanding pool of self-generated, diverse, adaptive goals. For language agents, existing training environment pools (hand-curated, statically synthesized, or frozen-verifier) keep the goal distribution fixed as the learner scales. We introduce SPADE (Self-Play in Adaptive Synthetic Executable Environments), a self-play RL framework in which a single LLM plays two roles: an Environment Designer that writes complete, long-horizon training environments as executable code with an OpenAI Gym-style reset()/step() interface, and a Reasoning Agent that learns to act in them. Each is a stateful, multi-turn environment (state transitions, reward functions, and verification code), so one interface spans reasoning problems and multi-step agentic tool use. The Reasoning Agent's regret is estimated using the gap between its reward with and without privileged hints; in optimizing this regret signal the Environment Designer learns to target environments at the edge of the agent's capabilities while keeping them feasible. Through extensive experimentation, we find several components critical to success: grounding the Environment Designer on documents sampled from a large pretraining corpus, and giving it an accumulated environment memory. Scaling to 30B-parameter models, SPADE improves over the strongest fixed-environment baseline by +5.3 on average across eight held-out math, science, code, and reasoning benchmarks, and lifts the tool-use setting by +5.7 on BFCL-v4 multi-turn and +13.9 on ACEBench-Agent; on the games setting, the margin over the strongest baseline grows with model scale. By making environment design itself a learnable component, SPADE takes a concrete step toward open-ended self-improvement.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み