Baseten、LLM推論におけるコストと性能の最適化領域「効率的フロンティア」を解説

AI業界では、「効率的フロンティア（efficient frontier）」という用語を経済学から借用しています。これは主に、コストとモデルの能力といったトレードオフをどう管理するかを議論する際に使われます。あるコストやサイズにおいて、最も高い知能レベルを提供できるモデルこそが「フロンティア・モデル」と呼ばれます。

効率的フロンティアとは、リソースが限られた環境下で、2 つの重要な成果をトレードオフする際に得られる最適な組み合わせの範囲を示すものです。

推論エンジニアリングにも同様に効率的フロンティアが存在します。最も一般的には、レイテンシとスループット（これがコストに直結）の間のトレードオフとして表現されますが、品質とスループットの交換（量子化や知識蒸留、プルーニングを通じて）、あるいは知能と速度の交換（推論レベルの調整という形で行う）も可能です。

推論エンジニアが利用可能な技術には、大きく分けて 2 つの種類があります。

• 2 つの要素間でトレードオフを行い、デプロイメントを効率的フロンティア上で移動させる手法。
• デプロイメント全体のフロンティアそのものを押し広げ、より高い全体的な効率を生み出し、それを最も有益な成果のために割り当てられるようにする手法。

どちらのタイプの技術も、それぞれに重要な価値を持っています。

効率フロンティア上の任意の点を狙うためには、トレードオフを調整できる能力が役立ちます。ユーザーごとの速度を犠牲にすることで、バッチワークロード向けに高スループットで低コストなパイプラインを構築することが可能になります。一方、遅延敏感なユーザーが高い支払い意欲を持っている場合、スループットを犠牲にして速度を向上させることは理にかなっています。

もちろん、効率フロンティアそのものを押し広げることも極めて有用です。より高い効率を実現することで得られる利益は、より低いレイテンシ、より高いスループット、あるいはその両方の組み合わせに割り当てることができます。

本記事では、効率フロンティア上の特定の点を狙うために使える推論エンジニアリング手法と、フロンティア全体を押し広げるための手法について詳しく解説します。なお、この記事では KV キャッシュの再利用と最適化された KV 対応ルーティングを有効にした状態で、GLM-5.3 や Kimi K3 といった LLM をエージェントによるコーディングに使用していることを前提としています。

トレードオフを管理する手法

本番環境で特定の目標を達成することは、しばしば画期的なアプローチを発見することよりも、トラフィックの性質に応じた適切な設定セットを見つけることに重点が置かれます。

✕

効率フロンティア上の成果を狙うための手法です。

実際、効率のフロンティアは非常にギザギザしています。結果間の滑らかで連続的な線ではなく、小さな変化が大きな影響を与えることがあります。これらのカットオフポイントは直感的でないことが多く、スウィープを通じて経験的に発見する必要があります。

バッチサイズの最適化

レイテンシとスループットの間で最も明白なトレードオフは、バッチサイズから生じます。バッチとは、同時に処理されるリクエストの数を指します。トークンレベルでの連続バッチ処理により、バッチ開始を待つためのレイテンシは存在しませんが、設定されたバッチサイズがユーザーごとのレイテンシと全体のスループットを決定します。

バッチサイズが小さい場合、ユーザーごとのレイテンシは非常に優れていますが、GPU 1 基あたりに生成されるトークンの総数は少なくなります。つまり、トークンあたりのコストはかなり高くなります。バッチサイズを増やすと逆の効果が生じます：ユーザーごとのレイテンシが悪化しますが、より低いコストで全体のスループットが向上します。

パラレル戦略

現在の LLM は数百億から数兆のパラメータを有しており、複数の GPU に分散する必要があります。これらをどのように共有し、GPU 間で並列化するかが、レイテンシまたはスループットのどちらかを向上させる鍵となります。

並列処理により、大規模モデルは複数の GPU に分割されます。

レイテンシに敏感なデプロイでは、Tensor Parallelism (TP) の強化に注力すべきです。TP は高コストのオール・トゥー・オール通信を伴いますが、高速な NVLink 相互接続上でのこれらの操作は効率的であるため、レイテンシ削減には極めて有効です。

Expert Parallelism (EP) は、レイテンシとスループットの両方を改善する可能性があります。EP の度合いが低いほどレイテンシが改善される傾向にありますが、GPU ラック全体にわたる広範な EP などは、より高いスループットを実現するために設計されています。

スループット向上のための別の並列化手法として、Attention Data Parallelism (ADP) が挙げられます。この手法はアテンション層を複製して並列計算を行うことで、1 リクエストあたりの速度を犠牲にする代わりに、システム全体のスループットを引き上げます。

Quantization

Quantization（量子化）とは、重み、活性化値、および/または KV キャッシュの値における精度レベルを下げてモデルを実行する手法です。これによりレイテンシとスループットの両方が改善され、サービス上のトレードオフにおける効率的なフロンティアを押し広げます。

しかしながら、量子化は品質とサービス効率の間で新たなトレードオフを生み出します。これは特に険しいフロンティアであり、MXFP4 や NVFP4 などのマイクロスケーリング浮動小数点形式を使用する場合、モデルの品質をほとんど低下させることなく、サービス効率を大幅に向上させることが可能な領域が存在します。

Techniques that move the frontier

これらの手法が注目を集める理由です。全体のパフォーマンスを改善することは、推論エンジニアリングにおいて最も楽しい部分の一つです。

✕

推し進めるための技術は、普遍的な性能向上をもたらします。

最も素晴らしい点は、これらの技術が複合的に作用することです。例えば、ハードウェアの改善でパフォーマンスを 2 倍にしつつ、ソフトウェアの改善でもう 1 倍にすれば、全体としての処理能力は 4 倍になります。この向上分はレイテンシとスループットの両方に柔軟に割り当てることができます。

カーネル最適化とランタイムの改善

CUDA カーネルとは、行列乗算など推論プロセスの一部を単独で実行する低レベル関数のことです。個々のカーネルのパフォーマンスを高めることはもちろん、推論エンジンにおける順方向パス全体の性能を向上させることで、トークン 1 つあたりに必要なリソースを削減できます。こうした効率化はスタック全体に波及し、性能の限界を押し広げます。

カーネルレベルのパフォーマンスに関する詳細については、Baseten のインターンである Brian Li 氏による以下の優れた記事をご覧ください。excellent writeup by Baseten intern Brian Li

推測デコーディング

推測デコーディング（Speculative Decoding）は、モデルが次に生成する可能性が高いトークンを予測し、その予測を検証するプロセスです。この手法が登場した当初は、レイテンシとスループットの間にトレードオフが生じていました。推測処理自体のコストが高く、シーケンス長も短く、トークン受容率も低かったため、小規模なバッチサイズでのみ実用可能でした。

現在では、EAGLE-3 や DSpark、DFlash といった手法が、メインモデルのループとリソースを競合させることで、依然として最大バッチサイズに一定の制限を課しています。しかし、これらの技術は特にコード生成において強力なパフォーマンスを発揮します。コード生成では出力トークンのシーケンスが比較的予測しやすいため、フォワードパスをスキップできることによる効率化に加え、ユーザーあたりの秒間トークン数という形で、レイテンシの削減以上の恩恵をもたらしています。

非集約（Disaggregation）

P/D 非集約（Prefill/Decode Disaggregation）、つまりプリフィルとデコードを専用のワーカーに分離する戦略は、大規模な LLM デプロイメントの最適化に向けたものです。プリフィルとデコードを独立して実行することで、各推論フェーズ特有の特性に合わせてワーカーを最適化できます。また、流入するトラフィックの入出力シーケンス長やキャッシュヒット率に応じて、プリフィル用ワーカーとデコード用ワーカーの比率を柔軟に調整することが可能になります。

実務において、デシグレーション（disaggregation）は、レイテンシーを現状維持またはわずかに改善しつつ、スループット向上に最も効果的な手法として活用されることが多いです。

本記事では、トレードオフの管理とシステム全体の性能向上という2つの観点から、各技術の概要を紹介しました。記事内で言及した各技術の詳細については、無料書籍『Inference Engineering』をご参照ください。