AIの電力消費を推定する高速な手法

人工知能の爆発的な成長により、ローレンス・バークレー国立研究所の推計では、2028年までにデータセンターが全米の電力消費量の最大12%を占める可能性がある[1]。データセンターのエネルギー効率を向上させることは、科学者たちがAIを持続可能にするために取り組んでいる方法の一つである。 この目標に向けて、MIT（マサチューセッツ工科大学）とMIT-IBM Watson AI Labの研究者たちは、特定のプロセッサやAIアクセラレータチップ上で特定のAIワークロードを実行した際に消費される電力量をデータセンターの運用者に示す、高速な予測ツールを開発した。 従来のモデリング手法では結果を得るのに数時間、場合によっては数日かかるのに対し、彼らの手法は数秒で信頼性の高い電力見積もりを生成する。さらに、この予測ツールは、まだ展開されていない新興設計を含む、幅広いハードウェア構成に適用可能である。 データセンターの運用者は、これらの見積もりを活用して、複数のAIモデルやプロセッサに限られた資源を効果的に配分し、エネルギー効率を向上させることができる。加えて、このツールにより、アルゴリズム開発者やモデル提供者は、新しいモデルを展開する前にその潜在的なエネルギー消費量を評価することが可能になる。 "AI の持続可能性に関する課題は、私たちが答えなければならない喫緊の問いです。私たちの推定手法は高速で便利であり、直接的なフィードバックを提供するため、この技術がアルゴリズム開発者やデータセンターの運用者にエネルギー消費削減について考えるきっかけとなることを願っています」と、MIT のポスドクであり、この手法に関する論文の筆頭著者である Kyungmi Lee は語ります。 論文の共著者には、電気工学・コンピュータサイエンス（EECS）の大学院生である Zhiye Song、IBM Research および MIT-IBM Watson AI Lab のリサーチマネージャーである Eun Kyung Lee と Xin Zhang、IBM Fellow かつ IBM Research の持続可能なコンピューティング担当チーフサイエンティストであり MIT-IBM Watson AI Lab メンバーである Tamar Eilam、そして筆頭著者であり MIT 学長、Vannevar Bush 電気工学・コンピュータサイエンス教授、MIT-IBM Watson AI Lab メンバーである Anantha P. Chandrakasan が名を連ねています。この研究は、今週開催される IEEE Performance Analysis of Systems and Software 国際シンポジウムで発表されます。 **エネルギー推定の高速化** データセンター内では、数千台の高性能なグラフィックスプロセッシングユニット（GPU）が AI モデルの学習および展開のための演算処理を行っています。特定の GPU の電力消費量は、その構成や処理中のワークロードによって変動します。 エネルギー消費を予測するために従来から用いられている多くの手法は、ワークロードを個々のステップに分解し、GPU 内の各モジュールがステップごとにどのように利用されているかをシミュレートするものです。しかし、モデル学習やデータ前処理といった AI ワークロードは極めて巨大であり、この方法でシミュレーションを行うには数時間、場合によっては数日かかることもあります。 「運用者として、異なるアルゴリズムや構成を比較し、最もエネルギー効率の高い実行方法を見つけたい場合、単一のシミュレーションに数日かかるようでは、非常に非現実的になってしまいます」とリーは語ります。 予測プロセスを高速化するため、MIT の研究者たちは、より迅速に推定可能な、詳細度の低い情報を使用するアプローチを探りました。彼らは、AI ワークロードには多くの反復可能なパターンが存在することに気づきました。これらのパターンを用いて、信頼性が高くかつ迅速な電力推定に必要な情報を生成できることが判明しました。 多くの場合、アルゴリズム開発者は GPU 上で可能な限り効率的に実行されるプログラムを記述します。例えば、彼らはよく構造化された最適化手法を用いて、並列処理コアに作業を分散し、データチャンクを最も効率的な方法で移動させます。 「ソフトウェア開発者が使用するこれらの最適化は規則的な構造を生み出します。私たちが狙っているのは、この構造を活用することです」とリーは説明します。 研究者たちは、これらの最適化から GPU の電力使用パターンを捉える軽量な推定モデル「EnergAIzer」を開発しました。 **正確な評価** しかし、その推定は高速ではあったものの、研究者たちはすべてのエネルギーコストを考慮に入れていないことに気づいた。例えば、GPU がプログラムを実行するたびに、そのプログラムの設定と構成には固定されたエネルギーコストが必要である。さらに、GPU がデータのかたまりに対して演算を毎回実行する際にも、追加のエネルギーコストが発生する。 ハードウェアのばらつきやデータへのアクセス・移動における競合により、GPU は利用可能な帯域幅のすべてを使用できない場合があり、その結果、演算が遅延し、時間とともにより多くのエネルギーを消費することになる。 これらの追加コストとばらつきを含めるため、研究者たちは GPU からの実際の測定値を集め、推定モデルに適用する補正項を生成した。 「この方法により、高速かつ非常に正確な推定が可能になります」と彼女は述べる。 最終的に、ユーザーは実行したい AI モデルや処理するユーザー入力の数と長さといったワークロード情報を提供でき、EnergAIzer は数秒以内にエネルギー消費量の推定値を出力する。 ユーザーは GPU の構成を変更したり、動作速度を調整したりして、そのような設計上の選択が全体の電力消費にどのような影響を与えるかを確認することもできる。 研究者たちが実際の GPU からの本物の AI ワークロード情報を用いて EnergAIzer をテストしたところ、電力消費の推定誤差は約 8 パーセントにとどまり、結果を得るのに数時間を要する従来の手法と同等の精度であった。 この手法は、短期間にハードウェアが劇的に変更されない限り、将来の GPU や新興デバイスの構成における電力消費を予測するためにも使用できる。 将来的には、研究者たちは EnergAIzer を最新の GPU 構成でテストし、モデルをスケールアップして、ワークロードを実行するために協力する多数の GPU に適用できるようにすることを目指している。 「持続可能性に本当に影響を与えるためには、ハードウェア設計者、データセンターの運用者、アルゴリズム開発者のすべてが電力消費をより意識できるよう、スタック全体にわたって高速なエネルギー推定ソリューションを提供するツールが必要です。このツールにより、私たちはその目標に向けて一歩を踏み出しました」と Lee は述べている。 この研究は、MIT-IBM Watson AI Lab によって部分的に資金提供された。

AIの電力消費を推定する高速な手法

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト