Hugging Face、音声AIの人間品質測定「VoiceEQ」発表

記事一覧に戻る

• 音声 AI におけるより広範なベンチマークの必要性
• Real World VoiceEQ から得られた主要な知見
• 音声 AI の進化はますます専門化している
• 音声モデルは「話す」能力は向上したが、「聞く」能力はまだ追いついていない
• 従来のベンチマークは、実際の現場での性能を過大評価する傾向がある
• 人間による評価が依然として不可欠である
• なぜ音声 AI には新たな測定層が必要なのか

*既存のベンチマークでは音声 AI が人間レベルに近づいているように示唆されていますが、実際の会話現場では全く異なる状況です。*

音声は急速に AI の主要なインターフェースへと変貌を遂げています。カスタマーサポートやヘルスケア、教育、エンターテインメント、そしてパーソナルアシスタントに至るまで、人々が AI と対話する方法としてテキストからスピーチへ移行しつつあります。

ここ数年で音声モデルの性能は劇的に向上しました。単語誤り率（WER）は低下し続け、遅延も会話可能な速度に達しています。また、多くの確立されたベンチマークでは性能が頭打ちになりつつある状況です。しかし、日常的に音声 AI を利用している人なら誰もが、どこか違和感があると感じているはずです。

音声モデルは、会話の進行中に異なる人物のように聞こえたり、ためらいや不確実性を捉え損ねたり、アクセントや雑音、感情を伴う発話に対して苦戦したりすることがあります。これらの欠点は、レイテンシや単語誤り率に焦点を当てたベンチマークでは見逃されがちです。人々が本当に求めているのは、音声システムが実際に耳を傾け、適切に応答し、対話の中で自然で信頼性のある振る舞いをするかどうかです。

音声 AI を評価するためのより広範なベンチマーク

これらの品質を測定するために、私たちは Real World VoiceEQ を構築しました。これは、音声対話の人間らしさを評価するために設計されたベンチマークです。トーンや感情、話者識別、背景の文脈など、文字起こし（トランスクリプト）からは見逃されがちな音響情報を、音声システムが認識・生成・応答できるかを検証します。

Real World VoiceEQ では、40 以上の主要な独自およびオープンソースの音声モデルを、15 以上の主要評価次元と、自動音声認識（ASR）、テキスト読み上げ（TTS）、音声対音声（S2S）、音声理解にまたがる 60 以上の指標を用いて評価します。

このベンチマークは、異なる人口統計、話し方、音響環境で収集された 100 万件を超える個別の人間による評価データから開発されました。現在のベンチマークには 785,000 件の TTS 評価と 48,000 件の音声対音声（STS）評価が含まれており、これまでに実施された音声 AI の人間による評価としては最大規模の一つです。

すべての評価は、柔軟な音声ネイティブ型評価プラットフォームである「Kairos」を用いて実施されました。同様のインフラストラクチャは、最先端の AI 研究所や企業において、特定のユースケースに合わせたカスタム評価の実行、生産環境における音声システムの微細な不具合の特定、人間による選好データの生成、そして強化学習と人間のフィードバックを通じたモデルの継続的な改善を可能にしています。

Real World VoiceEQ からの主な知見

音声 AI の進化は、ますます専門化が進んでいます。

「唯一最高の」音声モデルを目指す競争から、多様な専門能力を持つモデル群へと様変わりしつつあります。

現在、主要なシステムはそれぞれ異なる強みを最適化しています。技術的な精度、感情の理解、対話知能、表現力、そして堅牢性などです。予約番号や銀行口座の詳細、複雑な医薬品名などを正確に繰り返すことに優れたモデルもあれば、感情的な表現を豊かに生成できる一方で、別のモデルは非常に自然に聞こえるものの、精度が求められるタスクでは信頼性に欠けることもあります。

音声 AI が成熟するにつれ、その進捗を測るには、これら個々の能力を独立して評価することが不可欠となりつつあります。単一の総合スコアに集約してしまうのではなくです。当社の TTS（テキスト読み上げ）評価において、どのシステム構成も 8 つの能力グループすべてで上位 5 位に入ることはありませんでした。これは、「唯一最高の」音声モデルは存在しない理由を浮き彫りにしています。

音声モデルは「話すこと」では向上したが、「聴くこと」はまだ追いついていません。

評価したカテゴリの中で、音声対音声（Speech-to-Speech）モデルの性能差が最も広範囲にわたることがわかりました。感情認識において卓越したシステムもあれば、自然な応答には苦戦するものもありました。音声データへのアクセスが可能であっても、エージェントがその中に含まれる非言語情報を活用しているとは限らないのです。

多くのシステムは依然として文字起こし（トランスクリプト）に依存しており、話されている言葉自体には注目しながらも、トーンや話すペース、ためらい、強調、音量といった重要な手がかりを見落としています。

人間はこれらの手がかりを自然に用いて、自信の度合いや不確実性、フラストレーション、皮肉、共感などを推測します。しかし、現在のモデルはこうした要素を見逃すことが多々あります。

例えば、銀行の担当者が「不正な取引ではないかと認識していますか？」と尋ねたとしましょう。「はい」と自信を持って答える場合と、「…はい…」とためらって答える場合では、意味するところが全く異なります。文字起こしされたテキストは同じでも、人間はその違いを即座に理解します。しかし、現在の多くの音声モデルにはそれができないのです。

従来のベンチマークは、実世界での性能を過大評価する傾向が強まっています。

多くの既存ベンチマークは限界に近づき、現実の状況を反映しなくなっています。モデルはまだ、アクセントのある音声、重なる話者、感情表現、背景ノイズ、そして長文の会話に対して苦戦しています。私たちの評価では、主要なオープンソースモデルと独自開発モデルのパフォーマンスが、従来のベンチマークが示すよりもはるかに大きくばらついていることがわかりました。ある例では、雑音混じりの音声に対する文字誤り率は、音楽付きの音声に比べて約 4 倍高く、単一の背景音響スコアが実際の失敗モードを隠してしまう実態を示しています。

人間による評価は依然として不可欠です。

予備的な調査では、一部のモデルが既存の公的ベンチマーク向けに最適化されている兆候が見られました。これらは参照トランスクリプトで既知のエラーを再現し、任意のスペリング規則に従い、音声に含まれていない単語まで復元しようとするケースさえありました。

LLM は現在、テキストベースモデルの評価に広く利用されていますが、私たちの調査結果は、音声言語モデル（SLM）を音声評価に用いる際はより慎重であるべきであることを示唆しています。主要な SLM と訓練された人間評価者を比較したところ、発音の正確性など明確で検証可能な回答が求められるタスクにおいてのみ、両者の一致度が最も高くなりました。

主観的な評価項目については合意形成が難しく、SLM（小型言語モデル）は時折、テキストベースの文脈手がかりから感情を推測しているように見える。特に「その声が演技役として適切か」「一貫したキャラクター性を維持できているか」といった自由記述型の判断においては、合意率が最も低かった。

自動化された評価ツールは定義が明確なタスクには有用だが、音響的・文脈的な要素や知覚、社会的解釈に依存する判断においては、まだ人間による聴取を代替するものではない。

なぜ Voice AI には新しい測定層が必要なのか

音声は AI の決定的なインターフェースの一つとなりつつある。これからは速度や技術的な精度だけでシステムの優劣が決まる時代ではなくなる。最終的に人々が選ぶのは、理想化されたベンチマーク条件だけでなく、現実世界の会話の複雑さにおいても人間のように理解し、表現し、応答できるモデルだ。

過去数十年にわたり、音声 AI は標準化されたベンチマーク上の定量的指標への最適化によって発展してきた。文字起こしの精度を示す WER（Word Error Rate）や、音質を客観的に評価する PESQ、DNSMOS などがその例である。我々は「Real World VoiceEQ」を通じて、このパラダイムを拡張し、合成音声の相互作用を構成する各要素を評価するための、人間に根ざした指標を提供したいと考えている。

完全な技術レポート を読むか、公開リーダーボードで結果を確認してください。あるいは、お問い合わせフォームからご連絡いただければ、Hume が Real World VoiceEQ を活用してあなたの音声モデルやエージェントを評価する方法、あるいは特定のユースケースに合わせたカスタム評価の設計をご案内いたします。