LMSYS、分散型強化学習システムにおけるロールアウトデータの効率的な大量 I/O 手法「Mooncake」を発表

記事の3ポイント

1. 1

   分散型RLシステムにおけるワークロードの分離

   大規模な強化学習では、推論中心のロールアウト生成とテンソル計算中心のトレーニングを別々のワーカーグループで実行する分散アーキテクチャが採用される。

2. 2

   パイプラインレベルでの並行処理の実現

   Miles は、トレーニングがロールアウト N を処理している間に、ロールアウトワーカーが N+1 の生成を並行して行うことでリソース利用率を向上させる。

3. 3

   構造化データ転送の課題と解決

   ロールアウトデータは単一の連続テンソルではなく異種構造を持つため、推論側からトレーニング側への効率的な移動がシステム境界におけるボトルネックとなる。