Anyscale、LLM の強化学習向けに高速な重み同期技術「Ray Direct Transport」を公開

記事の3ポイント

1. 1

   RDMA ベース転送の最適化手法

   Anyscale Engineering は、メモリ割り当てや登録などのオーバーヘッドを排除する RDT API の使用法を紹介し、従来の素朴な実装比で最大 7.5 倍の性能向上を達成したと発表した。

2. 2

   GB200 ノードでの実証結果

   Multi-Node NVLink (MNNVL) を備えた GB200 ノード環境において、RDT のベストプラクティスを適用することで、重み同期の転送速度が劇的に向上したことを示した。

3. 3

   オープンソース連携による展開

   SkyRL や Miles などの強化学習フレームワークとのオープンソース統合を通じて、これらの性能向上機能が一般利用可能になる予定であると発表した。