精度を犠牲にせず LLM を高速化する手法

大規模言語モデル（LLM）はますます大型化し、性能も向上しています。しかし、それらを実行するコスト——テキスト生成や質問への回答、リアルタイムアプリケーションの駆動など——も同時に増大しています。もちろん、モデルの精度は重要ですが、リアルタイム AI ベースの Web アプリケーションにおいては、効率性を犠牲にしてまで追求すべきではありません。国際学習表現会議（ICLR）で発表した論文において、私たちはスケーリング則をアーキテクチャ設計の意思決定に直接結びつけることで、この精度と効率性のトレードオフをナビゲートするためのフレームワークを提供します。 現在のスケーリング則におけるギャップ 2022 年、Google DeepMind は実験的な LLM「Chinchilla」を対象とした研究結果を発表しました。DeepMind の研究者たちは、特定の計算リソース予算の下で所望の損失レベルを達成するために、モデルサイズとトレーニングデータの両方を最適化できるスケーリング則を実証しました。より具体的には、この法則はモデルの損失（L）をモデルのパラメータ数（N）およびトレーニングデータセット内のトークン数に関連付けます。 この方程式における他の変数——E, A, B, α, β——はいずれも学習可能な係数です。DeepMind の研究者たちは、これらの係数を調整するために広範な実験を行いました。この「Chinchilla 法則」は、モデルの内部表現のサイズ（「隠れ次元」）や、アテンション層と多層パーセプトロン（MLP）層に割り当てられるパラメータの相対数といったアーキテクチャ上の選択については言及していません。しかし、同じ数十億パラメータカウントを持ち、同じデータでトレーニングされ、同じ精度を達成した 2 つのモデルであっても、追加的なアーキテクチャの選択次第では、推論時のスループットが最大 40% も異なる可能性があります。私たちは、これらの選択を予測するのに役立つスケーリング則を導き出すことを目指しました。 Transformer アーキテクチャ すべての LLM の核心にある Transformer アーキテクチャは、主にスタックされたアテンションブロックと MLP ブロックで構成されています。アテンションブロックは、現在のトークンの表現を更新する際に、各先行トークン（単語または単語の一部）にどの程度の重みを付与するかを決定します。MLP ブロックはその表現をさらに変換し、モデルの学習済み知識の多くが保存される場所です。スタックの末尾にある別の出力層は、最終的な表現を次のトークンに関する確率分布に変換します。 アテンション機構は、情報検索から借用された名称を持つ 3 つの行列を使用します：クエリ行列は各トークンがシーケンスの残りの部分で何を探しているかを符号化し、キー行列は各トークンが何を提供できるかを符号化し、バリュー行列はアテンションの対象となった際に各トークンが貢献できる内容を保持します。クエリをキーと比較することで、モデルは各トークンが他の各トークンに対してどの程度関連性があるかを判断します。 ほとんどの LLM はマルチヘッドアテンションを使用しています：複数のアテンション計算が並列で実行され、それぞれに独自のクエリ、キー、バリュー射影を持ちます。異なるヘッドは入力の異なる側面を専門とする傾向があり、単一のヘッドでは捉えられないより豊かな関係性をモデルが捉えることを可能にします。 私たちのアプローチ：アーキテクチャを第一級の変数として扱う 私たちの ICLR 論文では、Chinchilla フレームワークに 3 つのアーキテクチャ要因を追加したスケーリング則を導入しました。それらは以下の通りです：隠れ次元（埋め込み、アテンション、MLP ブロックを流れるベクトルの次元）、MLP パラメータ数とアテンションパラメータ数の比率、およびグループ化クエリアテンション（GQA）です。GQA では、アテンションヘッドのグループが独自のクエリ行列を維持しつつ、キー行列とバリュー行列を共有します。 各要因は推論スループットに直接的な影響を与えます： 隠れ次元（d_model）：固定されたパラメータ予算の下では、より大きな隠れ次元は総推論 FLOPs を削減し、キー・バリューキャッシュを縮小してスループットを向上させます。 MLP 対アテンション比率（r_mlp/attn）：高い比率は MLP に多くのパラメータを割り当て、アテンションには少なく割り当てることで、キー・バリューキャッシュを縮小し、メモリ帯域幅のボトルネックを軽減します。 グループ化クエリアテンション（GQA）：キー・バリューヘッドをさらに圧縮することで、生成中の入出力コストを削減します。 これらの要因を純粋にスループット向上のために調整することは、精度の低下という代償を伴います。隠れ次元と MLP 対アテンション比率の両方とも U 字型の損失曲線を示し、それぞれに最適な点があり、どちらかの方向へ行き過ぎるとモデルの精度に悪影響を及ぼします。GQA は損失に対してより不規則な効果を持つため、局所探索を通じて調整される離散ハイパーパラメータとして扱います。 私たちは 2 つの段階でスケーリング則を導き出しました。まず、調査対象のモデルに対して標準的な Chinchilla 法則を適合させ、係数 E, A, B, α, β の値を計算します。これにより最適な参照損失が確立されます。次に、各アーキテクチャ選択——私たちが考慮する 3 つの要因の違い——がその損失にどのように影響するかを較正します。実質的に、設計空間全体にわたる補正曲面を学習することになります。 隠れ次元と MLP 対アテンション比率の損失への影響が分離可能であることが判明したため、各要因は独立して最適化できます。 2 つのモデルファミリー：Panda と Surefire このスケーリング則により、任意の精度目標に対してパレート最適なアーキテクチャを特定する検索フレームワークを開発することができました。その検索の結果得られたのが 2 つのモデルファミリーです：Panda（精度を最大化）と Surefire（精度と効率性のフロンティア上でパレート最適）。 このフレームワークを検証し、最適なモデルファミリーを特定するために、異なるアーキテクチャを持つ 200 以上（8,000 万から 30 億パラメータ、800 億から 1000 億トークン）のモデルをトレーニングしました。実験結果は以下の通りです（スループットは H200 GPU でバッチサイズ 128-4096、入力 1024 トークン、出力 1024 トークンで測定）： Model d_model GQA r_mlp/attn Loss Avg. accuracy Throughput vs. LLaMA-3.2-vLLM Throughput vs. LLaMA-3.2-SGLang LLaMA-3.2-1B 2048 4 4.80 2.80 354.9% baseline baseline Panda-1B 2560 4 1.07 2.78 257.0% -33% - Surefire-1B 2560 9 3.60 2.80 455.4% +21% +47% LLaMA-3.2-3B 3072 3 4.80 2.62 561.9% baseline baseline Panda-3B 4096 3 1.00 2.61 962.5% -23% - Surefire-3B 4096 7 1.00 2.62 062.6% +12% +17% 数十億パラメータの Panda モデルは、LLaMA-3.2-1B よりも 2.1% 向上し、30 億パラメータモデルは LLaMA-3.2-3B よりも 0.6% 向上しますが、その代償としてスループットが低下します。Surefire モデルは LLaMA-3.2 の精度と同等かそれ以上を維持しつつ、スループットを 12〜47% 改善し、異なるモデルサイズおよびバッチサイズの構成下では、A100（vLLM）で最大 42%、H200（SGLang）で最大 47% の向上が見られます。 重要なポイント アーキテクチャは後付けではありません。LLaMA-3.2 スタイルのモデルにおける最適な MLP 対アテンション比率は約 1.0 であり、既存のオープンウェイト版（例：LLaMA-3.2-1B の 4.8）よりもはるかに低いです。現在のモデルは MLP 層に過剰に割り当てすぎています。 隠れ次元、MLP 対アテンション比率、GQA 設定の適切な構成により、精度を犠牲にすることなく大きな効率性の向上を実現できます。 小規模実験が大規模な結果を予測する。8,000 万から 2.97 億パラメータのモデルで較正された条件付きスケーリング則は、10 億および 30 億パラメータにおける最良のアーキテクチャを確実に予測し、高価なフルスケールトレーニング前に低コストでの探索を可能にします。 このフレームワークはハードウェアやサービングシステム全体で一般化されます。効率性の向上は A100/H200 GPU および vLLM/SGLang 全体で一貫しており、結果は即座に実装可能です。

精度を犠牲にせず LLM を高速化する手法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト