LLM ワークフローにおける推論遅延を削減する7 つのアプローチ

記事の3ポイント

1. 1

   推論遅延の構造分析

   LLM の生成は計算集約型の「Prefill（読み込み）」フェーズとメモリ帯域集約型の「Decode（書き出し）」フェーズに分かれ、それぞれが TTFT と TPOT という異なる指標に影響を与える。

2. 2

   モデル量子化の導入

   16 ビット浮動小数点数から 8 ビットや 4 ビットの整数へ変換する量子化により、VRAM 使用量を削減しメモリ帯域ボトルネックを解消することで生成速度を向上させる。

3. 3

   推論遅延の主要指標

   ユーザー体験を決定づける指標として、最初の単語が表示されるまでの時間を測る「Time to First Token (TTFT)」と、その後のトークン生成速度を測る「Time Per Output Token (TPOT)」が定義されている。