データセンターがより少ないハードウェアで高性能を実現するための支援

データセンターの効率を向上させるため、複数のストレージデバイスをネットワーク上でプールし、多くのアプリケーションがそれらを共有することがよくあります。しかし、プーリングを行っても、デバイス間のパフォーマンスのばらつきにより、デバイスの容量の多くが未活用となっています。 MITの研究者たちは、3つの主要なばらつきの原因を同時に処理することでストレージデバイスのパフォーマンスを向上させるシステムを開発しました。このアプローチは、一度に1つのばらつきの原因に対処する従来の手法と比較して、大幅な速度向上を実現します。 このシステムは二段階のアーキテクチャを採用しており、各ストレージデバイスがどのタスクを実行するかという大局的な判断を行う中央コントローラーと、そのデバイスに問題が生じた場合にデータを迅速にリルーティングする各マシン用のローカルコントローラーで構成されています。 この手法は、変化するワークロードにリアルタイムで適応可能であり、専用ハードウェアを必要としません。研究者たちは、AIモデルのトレーニングや画像圧縮といった現実的なタスクでこのシステムをテストしたところ、従来の手法が提供するパフォーマンスをほぼ2倍に高めることを確認しました。複数のストレージデバイスのワークロードを知的にバランスよく分散させることで、このシステムはデータセンター全体の効率性を高めることができます。 "問題解決のためにリソースを投入しがちですが、それは多くの点で持続可能ではありません。これらの高価で炭素排出量の多い資源の寿命を最大化できるようにしたいのです」と、電気工学・コンピュータサイエンス（EECS）の大学院生で本研究の主要著者であるGohar Chaudhry氏は語ります。「当社の適応型ソフトウェアソリューションにより、デバイスを廃棄して新品を購入する前に、既存のデバイスから多くのパフォーマンスを引き出すことができます。」 Chaudhry氏には、Tufts大学のAnkit Bhardwaj准教授、Zhenyuan Ruan氏（PhD '24）、そしてEECS准教授でMITコンピュータサイエンス・人工知能研究所（CSAIL）のメンバーである上席著者Adam Belay氏が共同で参加しています。この研究成果は、USENIXネットワークシステム設計・実装シンポジウム（USENIX Symposium on Networked Systems Design and Implementation）で発表されます。 **未活用パフォーマンスの活用** ソリッドステートドライブ（SSD）は、アプリケーションがデータを読み書きできる高性能なデジタルストレージデバイスです。例えば、SSDは膨大なデータセットを保存し、機械学習モデルのトレーニングのためにプロセッサへデータを高速に送信することができます。 複数のSSDをプール化し、多くのアプリケーションがそれらを共有できるようにすることで、必ずしもすべてのアプリケーションが特定の時点でSSDの全容量を使用するわけではないため、効率性が向上します。しかし、すべてのSSDが同等のパフォーマンスを発揮するわけではなく、最も低速なデバイスがプール全体の性能を制限する可能性があります。 これらの非効率性は、SSDハードウェアのばらつきと、それらが実行するタスクの違いに起因します。 この未活用SSDパフォーマンスを活用するため、研究者たちはSandookを開発しました。これは3つの主要なパフォーマンス阻害要因のばらつきを同時に解決するソフトウェアベースのシステムです。「Sandook」はウルドゥー語で「箱」を意味し、「ストレージ」を示すために名付けられました。 1つ目のばらつきは、異なるベンダーから異なる時期に購入されたSSDの年齢、劣化の程度、容量の違いによって引き起こされます。 2つ目のばらつきは、同じSSD上で発生する読み取り操作と書き込み操作のミスマッチに起因します。デバイスに新しいデータを書き込む際、SSDは既存のデータを一部消去する必要があります。このプロセスは、同時に発生するデータの読み取り（取得）を低速化させる可能性があります。 3つ目のばらつき要因はガベージコレクションです。これは、スペースを確保するために古いデータを収集・削除するプロセスです。このプロセスはSSDの動作を低速化させ、データセンターの運用者が制御できないランダムな間隔でトリガーされます。 "デプロイメントサイクル全体を通じて、すべての SSD が同一の挙動を示すと仮定することはできません。たとえ同じワークロードを割り当てたとしても、一部の SSD が遅延要因（ストラグラー）となり、達成可能な総スループットが低下します」と Chaudhry は説明する。 **グローバルな計画、ローカルな対応** Sandook は、この3つのばらつきすべてに対応するため、2段階の構造を採用している。グローバルスケジューラーが全体のプールに対するタスクの分散を最適化し、各 SSD 上の高速スケジューラーが緊急イベントに反応して、混雑したデバイスから処理をシフトさせる。 このシステムは、読み書きの干渉による遅延を、アプリケーションが読み取りと書き込みに使用する SSD をローテーションさせることで克服する。これにより、同じマシン上で読み取りと書き込みが同時に発生する可能性を低減する。 Sandook はまた、各 SSD の典型的なパフォーマンスをプロファイリングする。この情報を用いて、ガベージコレクションによって処理が低速化している時期を検出する。検出されると、Sandook はその SSD 上のワークロードを軽減し、ガベージコレクションが完了するまで一部のタスクを他のデバイスへ振り向ける。 「その SSD がガベージコレクションを実行中で、それ以上のワークロードを処理できない場合、負荷を小さくして徐々に処理量を戻していく必要があります。まだある程度の作業を行い、そのパフォーマンスを引き出せる『最適なポイント』を見つけることが重要です」と Chaudhry は述べる。 SSD のプロファイルにより、Sandook のグローバルコントローラーは各デバイスの特性と容量を考慮した重み付け方式でワークロードを割り当てることが可能になる。 グローバルコントローラが全体像を把握し、ローカルコントローラがその場で対応するため、Sandook は異なる時間スケールで発生する多様な変動を同時に管理できる。例えば、ガーベジコレクション（garbage collection）による遅延は突然発生するのに対し、摩耗（wear and tear）によって生じるレイテンシは多くの月をかけて蓄積していく。 研究者たちは 10 個の SSD からなるプールで Sandook をテストし、データベースの実行、機械学習モデルのトレーニング、画像の圧縮、ユーザーデータの保存という 4 つのタスクにおいてシステムを評価した。静的な手法と比較して、Sandook は各アプリケーションのスループットを 12〜94％向上させ、SSD キャパシティの全体的な利用率を 23％改善した。 このシステムは、専用ハードウェアやアプリケーション固有のアップデートを必要とせず、SSD が理論上の最大性能の 95％を達成できるようにした。 「当社の動的ソリューションは、すべての SSD でより高いパフォーマンスを引き出し、限界まで性能を押し上げることができます。この規模において、節約できるキャパシティはわずかなものでも非常に重要です」と Chaudhry は述べる。 将来、研究者たちは最新の SSD で利用可能になり、運用担当者がデータ配置に対してより多くの制御を行える新しいプロトコルを組み込むことを目指している。また、AI ワークロード（AI workloads）における予測可能性を活用し、SSD 操作の効率を高めることも計画している。 「フラッシュストレージは現代のデータセンターアプリケーションを支える強力な技術ですが、パフォーマンス要件が大幅に異なる複数のワークロード間でこのリソースを共有することは、依然として大きな課題です。本研究は、展開可能なエレガントで実用的なソリューションを提供し、本番環境のクラウドにおけるフラッシュストレージの可能性を最大限に引き出すことに有意義な進展をもたらしました」と、本事業に関与していないGoogleのソフトウェアエンジニアであり、ペンシルベニア大学准教授に就任予定のJosh Fried氏は述べています。 本研究は、全米科学財団（National Science Foundation）、米国国防高等研究計画局（Defense Advanced Research Projects Agency）、および半導体研究協会（Semiconductor Research Corporation）から部分的な資金提供を受けています。

データセンターがより少ないハードウェアで高性能を実現するための支援

背景や根拠まで確認しますか？

調べる

選ぶ

サイト