Agent Lightning v1.0: ハーンネスド・アジェンティック RL の実現
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
従来のアプローチとは異なり、学習エンジンではなくデプロイ時のハルネスが環境相互作用ループを管理し、トレーナーは LLM のリクエスト・レスポンスシーケンスのみを観察する「harnessed agentic RL」のパラダイムを確立した。
AI深層分析を開く2026年8月20日 20:35
AI深層分析
キーポイント
ハルネス型強化学習の定義とアーキテクチャ
従来のアプローチとは異なり、学習エンジンではなくデプロイ時のハルネスが環境相互作用ループを管理し、トレーナーは LLM のリクエスト・レスポンスシーケンスのみを観察する「harnessed agentic RL」のパラダイムを確立した。
軽量フレームワークの公開と実装
約 3,500 行のコードで構成される軽量フレームワーク「Agent Lightning v1.0」が公開され、任意のエージェントハルネスをサポートする実用的なテストベッドとして機能する。
学習効率と性能向上の実証
わずか 6,000 件のトレーニング例と限られた計算リソースを用いて、Qwen3.5-9B の SWE-bench Verified におけるスコアを 41.8% から 56.4%（絶対値で 14.6 ポイント向上）へと引き上げる成果を得た。
再現可能な研究パイプラインの提供
コード生成エージェントの RL に関する完全な再現可能なワークフローとトレーニングスクリプトを公開し、ハルネス型強化学習における再トークン化やサンプルマージなどの課題に対する研究を促進する。
重要な引用
We refer to this paradigm as harnessed agentic RL, where the deploy-time harness directly participates in model post-training.
RL improves Qwen3.5-9B on SWE-bench Verified from 41.8% to 56.4%, a 14.6-point absolute gain.
We release the complete workflow and training scripts to facilitate reproducible research on harnessed agentic RL.
編集コメントを表示
編集コメント
ハルネスが学習プロセスに直接関与する新しいパラダイムは、リソース制約下でのモデル改善戦略として極めて注目される。公開された軽量フレームワークと再現可能なスクリプトは、実装コストを下げつつ最先端の RL 技術を検証する手段を提供している。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
現代のエージェントは、ツール・コンテキスト・制御フローを管理する「ハネス（harness）」内で動作します。このハネスはエージェントシステムにおいて極めて重要な役割を果たしています。
私たちが最初に提案した Agent Lightning は、任意のエージェントを LLM エンドポイントのプロキシを通じて強化学習（RL）トレーニングに接続する、分離型アーキテクチャを導入しました。このアプローチはその後、verl Uni-Agent、AReaL 2.0、slime、Polar といったフレームワークにも採用されています。
私たちはこのパラダイムを「ハネス付きエージェント RL（harnessed agentic RL）」と呼んでいます。これは、デプロイ時のハネスがモデルのポストトレーニングに直接関与する仕組みです。従来のエージェント RL と根本的に異なる点は、環境との相互作用ループを学習エンジンではなくハネスが管理し、トレーナーは単に LLM のリクエストとレスポンスのシーケンスのみを観察するという点にあります。
これにより、再トークン化、サンプルのマージ、アドバンテージ計算、損失の正規化、バックエンドのスケジューリングといった課題が生じます。これらの要素はトレーニングの安定性と効果に大きな影響を与えます。
そこで私たちは、ハネス付きエージェント RL 向けの軽量フレームワーク「Agent Lightning v1.0」を発表しました。これは約 3,500 行のコードで実装されており、任意のエージェントハネスをサポートします。また、これらの課題を研究するための実践的なテストベッドとしても機能します。
私たちはこのフレームワークを、指示従順型エージェント、検索型エージェント、コーディング型エージェントの評価に用いました。さらに、コーディングエージェント向けの RL における完全な再現可能なパイプラインも提供しています。
わずか 6,000 件のトレーニング例と限られた計算リソースのみを用いた結果、Qwen3.5-9B の SWE-bench Verified でのスコアが 41.8% から 56.4% に向上し、絶対値で 14.6 ポイントの改善を達成しました。
再現可能な研究を促進するため、ハーンズド・アジェンティックRL（Harnessed Agentic RL）の完全なワークフローとトレーニングスクリプトを公開します。
原文を表示
Modern agents operate inside agent harnesses that manage tools, context, and control flow, making the harness a critical part of the agent system. Our original Agent Lightning introduced a disaggregated architecture that connects arbitrary agents to RL training through an LLM endpoint proxy, an approach later adopted by frameworks such as verl Uni-Agent, AReaL 2.0, slime, and Polar. We refer to this paradigm as harnessed agentic RL, where the deploy-time harness directly participates in model post-training. Harnessed agentic RL differs fundamentally from traditional agentic RL: the harness, rather than the training engine, owns the environment interaction loop, while the trainer observes only sequences of LLM request-response pairs. This introduces challenges in retokenization, sample merging, advantage calculation, loss normalization, and backend scheduling, which can substantially affect training stability and effectiveness. We present Agent Lightning v1.0, a lightweight framework for harnessed agentic RL implemented in approximately 3,500 lines of code. It supports arbitrary agent harnesses and serves as a practical testbed for studying these challenges. We evaluate it on instruction-following, search, and coding agents, and provide a complete reproducible pipeline for coding-agent RL. Using only 6K training examples and modest compute, RL improves Qwen3.5-9B on SWE-bench Verified from 41.8% to 56.4%, a 14.6-point absolute gain. We release the complete workflow and training scripts to facilitate reproducible research on harnessed agentic RL.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み