Baseten の Philip Kiely と Ali Taha が語る推論エンジニアリングの最前線

Baseten の Philip Kiely と Ali Taha は、推論エンジニアリングにおけるインフラレベルの最適化戦略について議論した。彼らはキャッシュ認識ルーティングや状態機械による出力制約など、信頼性と効率を高める具体的な手法を解説している。

長文コンテキストとコスト削減のためのキャッシュ認識ルーティング

20 万トークンを超える超長文コンテキストを扱う際、Baseten は単なるモデル呼び出しではなく、インフラレベルでの最適化を実行している。システムはリクエストが過去の内容と重複していないかを確認し、該当するキャッシュが存在するインスタンスへ振り分ける「キャッシュ認識ルーティング」を採用している。

これにより入力データの再処理（プリフィル）をスキップでき、コストと遅延を大幅に削減できる。特にコーディング支援や多段階の AI エージェントのようなユースケースでこの手法が有効だ。また、一部のモデルではプリフィルとデコードを別々の GPU リソースで実行する「ディスアグリゲーション」も採用され、推論速度向上のためのスペキュレーター（予測器）モデルも併用されている。

公開 API から専用デプロイメントへ移行すべき判断基準

多くのユーザーは最初はトークン課金の公開 API を利用し、特定のユースケースが定着した後に専用デプロイメントへと移行する。移行を検討すべき主な理由は「信頼性」と「カスタマイズ性」だ。

特定のドメインに特化した推論を行う場合、汎用的なエンドポイントでは最適化が困難である。専用デプロイメントであれば、そのトラフィックに合わせた「スペキュレーション・デコーディング」用のモデルを独自にトレーニングし、推論速度を劇的に向上させることが可能だ。また、特定のバッチサイズや並列化戦略の調整、あるいは高精度な演算が必要な場合など、パフォーマンスとコストのバランスを細かく制御したいニーズにも対応できる。

状態機械によるツール呼び出しの信頼性確保

AI エージェントが外部ツールを呼び出す際、JSON 形式の破綻や構造化された出力の失敗は深刻な問題となる。プロンプトエンジニアリングで「必ず JSON を返せ」と指示するだけでは不十分だ。

Baseten のアプローチでは、推論システム側で「状態機械（State Machine）」を用いて出力フォーマットを厳密に制約している。これによりモデルが生成するテキストが常に期待される構文に従うことを保証できる。間違ったツールを呼び出したり、ツールを呼び出さなかったりする問題までは解決しないが、JSON の構造破綻という致命的なエラーを防ぎ、システム側の信頼性を高める上で欠かせない手法だ。

データセンターとローカル端末で最適化戦略が分かれる理由

推論エンジニアリングにおける最適化は、環境によって根本的に異なる。データセンターでは「いかに高速に処理するか」が主眼であり、HBM（高帯域幅メモリ）の転送速度が極めて速いため、量子化やプルーニングによる省リソース化よりも、ネットワーク速度の向上や並列化戦略がボトルネック解消の鍵となる。

一方、ローカル端末では「いかに限られたハードウェアにモデルを載せるか」が課題だ。メモリ帯域幅が制限されるため、量子化やプルーニング、層の削除などの手法が必要になる。データセンター向けには不要な「Turbo Quantization」のような技術も、ローカル環境では帯域幅のボトルネックを解消する有効な手段となる。また、データセンターでは NVLink などの高速インターコネクトを活用したテンソル並列化が主流だが、ローカル環境では異なる制約下で最適化が行われる。

継続学習における KV キャッシュの圧縮と拡張

推論中に新しい知識を学習させる際、モデルの重み（パラメータ）を書き換えるアプローチには限界がある。特定の事実を更新しても、その知識が推論ロジックに正しく反映されず、矛盾した回答を生むリスクがあるからだ。

Baseten が推奨するアプローチは KV キャッシュの圧縮と拡張だ。重みを変更せず、KV キャッシュを近乎無限に保ちつつ不要な情報を圧縮することで、推論時の挙動変化やロジック破綻を回避しながら継続的な学習を実現できる。この方法であれば、推論プロセス自体の変更も最小限に抑えられ、システム全体の安定性を維持したまま知識の更新が可能となる。