Baseten の Philip Kiely と Ali Taha が語る推論エンジニアリングの最前線

この回の3つの核心

1. 1

   キャッシュ認識ルーティング

   長文クエリでは事前に入力キャッシュがあるインスタンスへルーティングし、プリフィル処理をスキップすることでコストと遅延を削減する。

2. 2

   推論並列化の戦略

   テンソル並列化は高速なインターコネクトが必要でレイテンシ低減に寄与し、エクスパート並列化はスループット向上に有効だが、パイプライン並列化はマルチノード環境でのみ必要となる。

3. 3

   構造化出力の制約

   ツール呼び出しにおける JSON 形式の破綻を防ぐため、推論システム側で状態機械を用いて出力フォーマットを厳密に制約する手法が有効である。

発言から確かめる

時間を選ぶと、元音声の該当箇所を開きます。