Baseten、Coval の音声 AI ベンチマークで首位に

Coval は、再生可能な独立したベンチマークを通じてチームが AI エージェントをテストし、比較し、改善するための音声 AI 評価プラットフォームです。そのオープンなベンチマーク手法は、リーダーボードの結果を支える核となる要素——データセット、プロバイダーモデルのバージョン、正規化パイプライン、レイテンシ測定アプローチ——を明確に示しています。

2026 年 9 月初旬に行われた Coval の早期アクセスベンチマークでは、Baseten がリーダーボードの首位に位置し、品質とレイテンシのパレート最適フロンティア上に立っています。このベンチマークはエンドユーザーが実際に体験するものを測定します。音声認識（STT）においては速度と品質の両方を同時に評価し、テキスト読み上げ（TTS）においては、最初の音声が出力されるまでの時間（レイテンシ）がエージェントの応答性を決定づけます。また、単語誤り率（WER）は文字起こしの精度を測る指標であり、これがエージェントがユーザーを理解できているかどうかを判断する基準となります。

これらのテストにおいて、Baseten の STT デプロイメントは OpenAI の約 5 倍の速度を示しながらも、最高の WER を達成しました。この結果は、推論の最適化によって応答性を向上させつつ、文字起こしの品質を犠牲にせずに対応できることを示しています。

品質とレイテンシの最前線

音声エージェントには複数のモデルが連携して動作する必要がありますが、これによりネットワーク全体にかかるオーバーヘッドが発生し、エンドユーザーにとっての遅延を引き起こします。数百ミリ秒のわずかな遅れであっても、ライブ会話におけるリアリティを損なう可能性があります。

Baseten は、Qwen3 ASR 1.7B Streaming を用いた音声認識（STT）において、遅延と品質の両面でパレート最適を達成しました。現在のベンチマークでは、これより高速かつ低 WER* で動作するプロバイダーは存在しません。

✕

STT

*as of Sept 8, 2026

音声合成（TTS）においても、各プロバイダーの性能が互いに拮抗している状況下で、Baseten は依然として品質と遅延の境界線に近い位置を維持しています。

✕

TTS + WER

音声 AI において、推論インフラが製品品質を決定する

音声エージェントは複数のモデルが連携して動作しますが、この構成にはネットワーク遅延というコストが伴います。ユーザーにとっての体感遅延に直結するため、数百ミリ秒のラグさえも会話のリアルタイム性を損なう要因となります。

一般的な音声スタックでは、音声を 1 つのプロバイダーへ送信して音声認識（STT）を行い、その結果を別のプロバイダーへ渡して推論処理を行わせ、最後に回答を 3 つ目のプロバイダーへ送って音声合成（TTS）を行います。このように、音声パイプライン全体で遅延が積み重なっていきます。STT、LLM、TTS、オーケストレーション、そしてネットワーク間のあらゆる接続点（ホップ）が、ユーザーに知覚される遅延を生み出します。最も高速な音声体験を実現するには、推論スタックの最適化と、音声スタック内の各要素間の距離を極限まで縮めることが不可欠です。

レイテンシを低減する道は、各モデルの最適化とスケーリング挙動の一貫性維持、そしてパイプラインをエンドユーザーに可能な限り近接して配置することによって積み重ねられていきます。

ベンチマークは推論層を測定すべき

そのため、音声エージェントに適したベンチマークとは、単一のモデルのスループットを測るだけでは不十分です。ユーザーが話しを終えた瞬間からシステムが応答し始めるまでの一連の流れ全体を含める必要があります。具体的には、音声認識ストリームの処理や最終的な文字起こしが完了するまでの速度、LLM が応答を開始するまでの速さ、テキスト読み上げ（TTS）が最初の音声を生成するまでの時間、そして音声活動検出（VAD）、電話回線、オーケストレーション、ネットワーク、自動スケーリング、並行処理などから生じる遅延の合計を測定することが求められます。

このフルスタックな視点がない場合、中央値（p50）でのレイテンシが良好でも、ユーザーの会話の 5% に悪影響を与える p95 レイテンシが隠れてしまう可能性があります。その結果、本番環境における音声エージェント全体の体験が低下してしまいます。

音声 AI を開発するチームにとっての課題は、モデルを選ぶことだけではありません。どのプロバイダー、モデル、インフラストラクチャ、評価手法を組み合わせれば、製品の本番環境での体感が向上するかを決めることが重要なのです。

インフラが整ったベンチマークこそ真価を発揮する

Baseten では、ピーク時の速度だけでなく、生産環境で音声エージェントが求める信頼性と一貫性の最適化にも注力しています。カスタマイズ性と同様に信頼性が重要であり、負荷時にレイテンシが変動すれば、高速な中央値だけでは不十分です。専用ハードウェアは「ノイジー・ネイバー（近隣の他テナントによる干渉）」を防ぎ、レイテンシの分布を狭く保ち、パフォーマンスの一貫性を高めます。Coval のベンチマークでは、この一貫性が評価基準に含まれています。

最適な構成はユースケースによって異なります：

• ストリーミング音声認識（STT） では、最初の文字起こしまでの時間を最小化し、最終的な結果の安定した確定動作が求められます。
• バッチ処理による文字起こし では、スループットとコスト効率をより重視して最適化できます。
• テキスト読み上げ（TTS） は、対話型エージェントでは最初の音声出力までの時間を短縮する必要がありますが、ストリーミングしない生成の場合は異なる最適化が行われます。
• 完全な音声エージェント では、すべてのコンポーネントがエンドツーエンドの会話レイテンシ予算内に収まる必要があります。

Coval のベンチマークは設計上、固定されたリージョンから実行されます。これは公平性と再現性を確保するために有用です。しかし実際の運用では、ワークロードの配置場所をどう決めるかが、音声開発者が最も効果的に活用できるレバーの一つとなります。ベンチマークはチームにとっての基礎データを提供しますが、その基礎が現場でどのように機能するかは、デプロイメントアーキテクチャによって決定されます。

Baseten のデプロイメントは、Coval のベンチマークにおいて通常の API エンドポイントとして機能しますが、その下には推論専用のレバーが用意されています。これにより、ベンチマークではモデルの品質だけでなく、生産環境向けの音声 AI における推論を最適化した際の挙動——信頼性やパフォーマンスの一貫性など——も評価できます。

はじめに

Model Library からワンクリックでベンチマーク用モデルをデプロイできます：

Deploy: https://www.baseten.co/library/qwen3-tts-12hz-base-streaming-1-7b/

Deploy: https://www.baseten.co/library/qwen3-asr-1-7b-streaming/

これで、チームはモデルを自社の音声パイプラインに組み込み、独自のデータでテストし、レイテンシ、品質、コストの目標に合わせてデプロイを調整できます。よりカスタマイズされたニーズがある場合は、お問い合わせ してエンジニアにご相談ください。