NVIDIA NeMo、PyTorchネイティブなアジェンティック強化学習フレームワーク「Molt」を公開
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
MarkTechPost
NVIDIAのNeMoチームは、研究者がアルゴリズム変更やパイプライン構築にかかるコストを削減するため、コンパクトで扱いやすいPyTorchネイティブのアジェンティック強化学習フレームワーク「Molt」を発表した。
AI深層分析を開く2026年8月2日 16:06
AI深層分析
キーポイント
極小規模の設計思想
Molt は研究者が頭の中で把握できる程度のコンパクトさを目指し、RL コード約 8.6K 行に収めることで AI コーディングアシスタントによる完全な推論と改修を可能にする。
既存技術の統合構成
配置と非同期キューには Ray を、ロールアウトには vLLM を、トレーニングには NVIDIA AutoModel と FSDP2 をそれぞれ使用し、フォークせずアップストリームの改善をコンテナピンで取り込む。
柔軟なエージェント実装
Env モードではフレームワークが LLM ループを管理し、ChatAgent モードではユーザーが OpenAI や Anthropic SDK を経由してループを制御できる二形式をサポートする。
厳格な学習不変性
生成したトークン以外で学習を行わないという不変性を維持し、コンテキストの圧縮やプリフィックスの書き換え時にサーバー側でセグメントを自動的に封止・再開する。
設計の3つの整合性不変条件
トークンIDが経路を定義するトーンアイデンティティ、学習可能トークンの挙動ポリシー対数確率を保つバージョンセマンティクス、ロールアウトとアクター間のモデル意味論の一致という3つの要件で設計が組織化されている。
重要な引用
The codebase should be compact enough for a researcher to hold in their head, and for an AI coding assistant to read and reason about in its entirety.
Molt ships under Apache 2.0 with launch codes, Slurm scripts, and a prebuilt container.
Never train on a token you did not generate.
Token identity: sampled token ids define the trajectory, not a retokenized transcript.
編集コメントを表示
編集コメント
Molt は「AI コーディングアシスタントがコード全体を理解・推論できること」を設計目標に掲げた点で、従来の RL フレームワークとは一線を画すアプローチである。NVIDIA が提供するこのオープンソース基盤は、H100 環境を持つ先進的な研究機関や企業において、Agentic AI の開発効率を劇的に向上させる可能性を秘めている。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
アジェンシー型強化学習（Agentic Reinforcement Learning）の研究では、アルゴリズムの修正が常態化しています。新しい推定器、パイプラインの新段階、新たなロールアウト方式が登場しますが、主要なフレームワークではこれらの変更がトレーナー、分散バックエンド、ロールアウトの接続層をすべて通じて波及します。そのコストは、研究者がイテレーションごとに負うことになります。
NVIDIA の NeMo チームが開発した「Molt」は、この課題に直接取り組んだものです。これは PyTorch ネイティブのアジェンシー型 RL フレームワークであり、特筆すべき設計目標を持っています。コードベースは、研究者が頭の中で把握できるほどコンパクトであるべきであり、AI コーディングアシスタントが全体を読み込み推論することも可能でなければなりません。その規模の目安として、各フレームワークの RL エントリーポイントからインポートグラフを追跡して測定した結果、Molt は約 8.6K ラインの RL コードに収まっています。同様の方法で測定すると、verl は約 62K ライン、slime は 25K ライン、OpenRLHF は 7.2K ラインとなります。
実用性は担保されているのでしょうか？
はい、Molt は Apache 2.0 ライセンスの下に提供されており、起動コード、Slurm スクリプト、プレビルドされたコンテナも含まれています。ただし、研究論文ではこれは生産環境向けのトレーニングサービスではなく、研究インフラストラクチャとして位置づけられています。真のボトルネックはハードウェアにあります。提供されるレシピでは、8 枚の H100 GPU を備えた 2 ノードを想定しており、うち 8 枚をトレーニングに、残りの 8 枚をロールアウトに割り当てる構成です。
これにより、Molt は最先端および準最先端のラボ、ポストトレーニングを行う資金豊富な AI スタートアップ、金融・ヘルスケア・ロボティクス分野で独自環境に対してエージェントを訓練する企業 AI 研究グループ、そしてマルチノード H100/H200 にアクセスできる学術研究室など、幅広い層が利用可能になります。具体的な応用例としては、複数回のツール使用を行うエージェント、コード実行型エージェント、ビジョン・ランゲージ環境（出荷時に提供される geo3k レシピ）、LLM-as-judge による報酬ループ、およびより小さな学生モデルへのオンポリシー蒸留などが挙げられます。
3 つのコンポーネント、1 つのループ
Molt は、配置と非同期キューに Ray を、ロールアウトに vLLM を、トレーニングには NVIDIA AutoModel と FSDP2 をそれぞれ組み合わせています。これら 3 つの要素はいずれもフォークされたものではなく、アップストリームからの改善はリベースではなくコンテナの固定バージョンとして反映されます。
ランタイムはエージェントプールであり、これはリクエストルーター背後に配置された vLLM エンジンの集合と、単一のトレーニング可能なポリシーアクターで構成されています。ストリーミングプールによりプロンプトグループが常に処理中の状態を保ち、エンジンが空になるのを防ぎながらアクターの学習を継続します。ロールアウトの一部では、エンジンを一時停止し、NCCL を介してアクターのシャードを各エンジンに直接ブロードキャストした後、保持されたリクエストを破棄せずに再開します。
エージェントは通常のプログラムです
RL（強化学習）の実行では、AgentRunner をエクスポートする Python モジュールを 1 つ指定すればよいだけです。報酬を含む他のすべての要素は、通常のコードとして記述されます。
2 つの形式がサポートされています。Env モードでは、フレームワーク側が Gymnasium に準拠した step() 内で LLM のループを管理します。一方、ChatAgent モードでは、ユーザーが標準的な OpenAI または Anthropic SDK を通じてループを制御します。Molt は両方のワイヤープロトコルに対応するループバックサーバーを起動し、すべてのリクエストをサーバー側でデコードして、トークン単位で正確に累積されます。長期的なホライズンを持つエージェントがコンテキストを圧縮してプレフィックスを書き換える際、サーバーは現在のセグメントを確定させると同時に、自動的に新しいセグメントを開始します。
自分が生成したトークン以外では学習しない
設計を支える 3 つの正しさ不変条件があります。1 つ目は「トークンID」です。サンプリングされたトークン ID が軌道を決めるのであり、再トークン化された転記文書ではありません。2 つ目は「ポリシーバージョンの意味論」です。学習可能なトークンは、その行動ポリシーの対数尤度（log-probabilities）を保持し、非同期利用においてはシーケンスレベルのゲート背後でトークン単位に補正されます。3 つ目は「前方一貫性」です。ロールアウトとアクターはモデルの意味論について一致している必要があります。
Mixture-of-Experts 型ポリシーにおいて、最も重要なのは最後の不変条件です。ロールアウト側と学習側のルーターが独立してエキスパートを選択するため、わずかな数値の違いがトップ k の選択をひっくり返す可能性があります。これに対処するため、Molt は「ロールアウトルーティングのリプレイ」を採用しています。vLLM がトークンごとのエキスパート ID を返す際、トレーニング側でその経路をそのまま再現します。
インタラクティブな解説
主なポイント
- Molt は約 8.6K ラインの RL コードからなる Apache-2.0 ライセンスのエージェント型 RL フレームワークであり、verl と比較して約 7 分の 1 の規模です。
- Ray、vLLM、NVIDIA AutoModel はすべてコンポーネントとして組み込まれており、フォークされていません。そのため、アップストリームのリリースはコンテナのピン指定として提供されます。
エージェントは通常の Python として実装され、OpenAI や Anthropic の SDK をそのまま使用して、トークン単位で厳密に同期するループバックサーバー経由でトレーニングされます。
スループットは統計的に Megatron ベースのスタックと同等ですが、MoE（Mixture of Experts）の不整合に関する注意点は明記されています。
スケールはフラグ一つで制御可能です。同じループを回すだけで、--fsdp.ep_size 256 を指定するだけで、4B の密集型モデルから 700B の MoE モデルまで実行できます。
原文を表示
Agentic reinforcement learning research is constant algorithm modification. New estimators, new pipeline stages, new rollout schemes. In mainstream frameworks each change threads through layers of trainer, distributed backend, and rollout glue. That cost lands on the researcher at every iteration.
Molt, from NVIDIA’s NeMo team, targets that cost directly. Its a PyTorch-native agentic RL framework with an unusual design target. The codebase should be compact enough for a researcher to hold in their head, and for an AI coding assistant to read and reason about in its entirety. The stated footprint is roughly 8.6K lines of RL code, measured by tracing the import graph from each framework’s RL entry point. The same method counts about 62K lines for verl, 25K for slime, and 7.2K for OpenRLHF.
Is it deployable?
Yes. Molt ships under Apache 2.0 with launch codes, Slurm scripts, and a prebuilt container. But the research paper positions it as research infrastructure, not a production training service, and hardware is the real gate. The shipped recipes assume 2 nodes of 8 H100 GPUs, split 8 for training and 8 for rollout.
That puts Molt in reach of frontier and frontier-adjacent labs, well-funded AI startups doing post-training, enterprise AI research groups in finance, healthcare, and robotics that train agents against proprietary environments, and academic labs with multi-node H100/H200 access. Applications include multi-turn tool-use agents, code-execution agents, vision-language environments (the shipped geo3k recipe), LLM-as-judge reward loops, and on-policy distillation onto a smaller student.
Three components, one loop
Molt composes Ray for placement and asynchronous queues, vLLM for rollout, and NVIDIA AutoModel with FSDP2 for training. None of the three is forked, so upstream improvements arrive as a container pin rather than a rebase.
The runtime is an agent pool, a set of vLLM engines behind a request router, and a single trainable policy actor. A streaming pool keeps prompt groups in flight so engines never drain while the actor trains. Partial rollout pauses the engines, broadcasts actor shards over NCCL directly to each engine, and resumes retained requests instead of discarding them.
The agent is an ordinary program
An RL run names one Python module that exports an AgentRunner. Everything else is ordinary code, including the reward.
Two forms are supported. With Env, the framework owns the LLM loop in a Gymnasium-aligned step(). With ChatAgent, the user owns the loop through a stock OpenAI or Anthropic SDK. Molt launches a loopback server that speaks both wire protocols, and every request decodes server-side into one token-exact accumulation. When a long-horizon agent compacts its context and rewrites the prefix, the server seals the current segment and opens a fresh one automatically.
Never train on a token you did not generate
Three correctness invariants organize the design. Token identity: sampled token ids define the trajectory, not a retokenized transcript. Policy-version semantics: trainable tokens keep their behavior-policy log-probabilities, and asynchronous use is corrected per token behind a sequence-level gate. Forward consistency: rollout and actor must agree on model semantics.
For mixture-of-experts policies, the last invariant matters most. The rollout and training routers select experts independently, and small numerical differences can flip top-k choices. Molt applies rollout routing replay, where vLLM returns its per-token expert ids and the training forward replays them.
Interactive explainer
Key Takeaways
Molt is an Apache-2.0 agentic RL framework in about 8.6K lines of RL code, roughly 7× smaller than verl.
Ray, vLLM, and NVIDIA AutoModel are composed, never forked, so upstream releases arrive as a container pin.
Agents are plain Python; a stock OpenAI or Anthropic SDK trains as-is through a token-exact loopback server.
Throughput is statistically comparable to a Megatron-based stack, with the MoE-mismatch caveat disclosed.
Scale is a flag: the same loop runs a dense 4B model and a 700B MoE at --fsdp.ep_size 256.
Check out the Paper and Repo here. Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post NVIDIA AI Releases Molt: A PyTorch-Native Agentic Reinforcement Learning Framework appeared first on MarkTechPost.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み