Anyscale、AI ワークロード向け Ray の 1 万ノードクラスターへのスケーリングを報告

記事の3ポイント

1. 1

   大規模クラスターでのパフォーマンス劇的改善

   Anyscale Engineering は、10,000 ノード環境における配置グループ準備時間を 303 倍、2,000 ノード環境でのアクター起動を 6.5 倍高速化し、1 年前には不可能だった大規模運用を実現した。

2. 2

   ボトルネックの特定と技術的解決

   スレッド間のロック競合、非同期作業を処理する単一スレッドの過負荷、ステールなリソースビューに基づくスケジューリングという 3 つの主要なボトルネックを特定し、Ray Core の改善で解消した。

3. 3

   バッチ推論とデータパイプラインの高速化

   500 ノード環境でのバッチ推論エンドツーエンド処理が 23% 高速化され、Ray Data のシャッフル処理も 24% 向上し、ドライバーがボトルネックとなる問題を解決した。