音声・リアルタイムエージェント向け推論 API の TTFT ベンチマーク調査

記事の3ポイント

1. 1

   TTFT指標の限界と誤解

   Time to first token (TTFT) は生成開始を示すが、テキスト音声合成モデルは完全な文節が揃うまで音声を出力できないため、これだけでは会話の自然さを判断できない。

2. 2

   二つの調整ノブの概念

   LiveKit は TTFT（生成開始）と Tokens per second（初回文の完成速度）という二つの独立したパラメータを管理すべきだと主張し、片方が優れていても他方で劣れば高速には感じられないとする。

3. 3

   遅延予算の具体的な内訳

   音声トーンの遅延は STT（100-200ms）、LLM（300-500ms）、TTS（100-200ms）、ネットワーク（50-150ms）に分解され、実用的なエンドツーエンド目標は 700ms から 1.2s と算出される。