NVIDIA NeMo、PyTorchネイティブなアジェンティック強化学習フレームワーク「Molt」を公開

記事の3ポイント

1. 1

   極小規模の設計思想

   Molt は研究者が頭の中で把握できる程度のコンパクトさを目指し、RL コード約 8.6K 行に収めることで AI コーディングアシスタントによる完全な推論と改修を可能にする。

2. 2

   既存技術の統合構成

   配置と非同期キューには Ray を、ロールアウトには vLLM を、トレーニングには NVIDIA AutoModel と FSDP2 をそれぞれ使用し、フォークせずアップストリームの改善をコンテナピンで取り込む。

3. 3

   柔軟なエージェント実装

   Env モードではフレームワークが LLM ループを管理し、ChatAgent モードではユーザーが OpenAI や Anthropic SDK を経由してループを制御できる二形式をサポートする。