音声エージェントはバイリンガル顧客に対応できるか？コードスイッチング音声における最先端 ASR のベンチマーク

[記事一覧に戻る](https://huggingface.co/blog) ## イントロダクション ベンチマークデータパイプライン 評価方法論 発見事項 A. コードスイッチングに対するモデルの性能はどの程度か？ WER 結果（低いほど良い） SWER および AER 結果（低いほど良い） B. コードスイッチングは単一言語話と比較して、どのような追加コストをもたらすのか？ C. コードスイッチングは ASR システムをどのように破綻させるのか？ 限界点 結論 イントロダクション 世界の人口の半数以上が複数の言語を話しています。そして多くのバイリンガル話者にとって、コードスイッチング — 文の途中であっても言語をシームレスに切り替えること — は、日常のコミュニケーションにおける自然な一部です。カジュアルな会話、コンタクトセンター、IT ヘルプデスクを問わず、話者はその瞬間に最も自然に感じる言語に合わせて流体に適応します。 世界中にバイリンガル話者が溢れているにもかかわらず、エンタープライズ環境における音声エージェントがコードスイッチングされた発話をどのように処理するかという点に焦点を当てた研究はほとんどありません。そこで、顧客から「日常的にコードスイッチングを行うバイリンガルの顧客基盤を持つ我々の音声エージェントのパフォーマンスはどうなるのか」という質問を受けた際、モデルを評価するために独自のベンチマークとデータセットを構築することを決定しました。私たちは、音声エージェントパイプラインの最初のステップである自動音声認識（ASR: Automatic Speech Recognition）に焦点を当てました。なぜなら、転写エラーはすべての下流コンポーネントへと伝播するからです。誤ったチケットの振り分けや誤解されたポリシー質問が実際の運用上の結果をもたらすエンタープライズ環境では、正確な転写を行うことは音声エージェントパイプラインにおいて特に重要なステップです。 当ベンチマークは、顧客ベースにとって最も関連性の高い4つの言語ペアを対象としています：スペイン語-英語、フランス語-英語、カナダ・フランス語-英語、ドイツ語-英語です。非英語言語を母体（マトリックス）として枠組みとし、英語をさまざまな長さで埋め込んでいます。データは、福利厚生や給与に関する従業員からの問い合わせ、パスワードのリセット、VPN アクセス、デバイスのトラブルシューティングなどのサポート依頼など、人事（HR）およびIT サービス管理（ITSM）の幅広いシナリオをカバーしています。 各種モデルのパフォーマンスを測定するため、3 つの指標を報告します：単語誤り率（Word Error Rate: WER）、意味的単語誤り率（Semantic Word Error Rate: SWER）、回答誤り率（Answer Error Rate: AER）です。これらの指標を選定した理由は、(1) 文字起こしにおけるモデルの正確な精度と、(2) 下流タスクのために発話の意味を保持する能力の両方を捉えるためです。 当社は、音声モデルの評価用ハネスである AU-Harness を通じて、ベンチマークおよびデータを公開しています。また、大規模音声言語モデル（Large Audio Language Models: LALMs）、最先端 ASR、オープンソース ASR などを含む 7 つの ASR システムの結果も提供します。主な発見は、コードスイッチングのコストが対象となる言語ペアとテストされたモデルによって異なるということです。11Labs Scribe V2、Gemini 3 Flash、Assembly AI Universal 3-Pro が、このタスクにおける各指標でトップモデルとして浮上しました。 ## ベンチマーク ## データパイプライン まず、IT サポートおよび人事関連の対話からなる内部コーパスを開始点とします。各コードスイッチング発話を生成する際、英語と当社の 4 つの非英語言語（いずれか）の対応するユーザー発話ペアから始め、適切なコードスイッチング候補をフィルタリングします。発話は 12〜40 語の範囲に制限し、自然な会話ターンとして短すぎず、かつ実際の切り替え機会を含めるのに十分な長さとなるように設定しています。また、電子メール、電話番号、ID、URL など、二言語選択ではなく必然的にテキストの半分が英語になってしまうような実体情報（エンティティ）が支配的な発話は除外します。最後に、生成モデルが意味のあるコードスイッチング版を作成するために十分な材料を得られるよう、実体や製品名ではない名詞、動詞、形容詞など、少なくとも 3 つの切り替え可能な内容語を含めることを要件とします。 ここから、現実的な方法で言語を組み合わせるさまざまな戦略を検証し、最終的に LLM（OpenAI/GPT-5）に送信するシンプルなペルソナプロンプトを採用してコードスイッチングテキストを生成しました。その後、LLM による音声化処理を経てテキストを発話形式に変換し、ElevenLabs Multilingual V2 を用いて音声を合成しました。すべての発話は、母語（マトリックス言語）のネイティブスピーカーである AI/NLP リンギストによってレビューされ、問題が指摘された発話は除外または再生成の上、再レビューされます。最終的なデータセットには、スペイン語 - 英語対応 259 件、フランス語 - 英語対応 298 件、カナダ・フランス語 - 英語対応 188 件、ドイツ語 - 英語対応 173 件の記録が含まれています。 ## 評価手法 各モデル・言語ペアごとに、転写精度、意味の保持、および下流タスクのパフォーマンスを捉えるために選定した 3 つの指標を報告します: - Word Error Rate (WER)。言語ペア全体の WER と併せて、個別の言語ごとの WER も報告します。 - Semantic WER (SWER)。このスコアは、意味的に重要な誤りとして判断されるエラーの割合を表しています。当社の実装は主に Pipecat の STT ベンチマークに基づいており、判定者には Gemma-4-31B を使用しています。 - Answer Error Rate (AER)。この指標は、転写エラーが下流での失敗に波及するかどうかを直接捉えるものです。これは Bhushan 他（IISc/ARTPARK, arXiv 2507.16456）の手法に従った質問応答型指標です。各発話に対して 3 つの下流理解用質問を生成し、ASR 転写文を読み取る LLM がそれらを正しく回答できるかを測定します。このフローは以下の図に示されています。 ## 知見 以下のモデルを評価しました: - AssemblyAI / Universal 3-Pro - Deepgram / Nova 3 Multilang - ElevenLabs / Scribe V2 - Google / Gemini 3 Flash - Mistral AI / Voxtral Small 24B-2507 - Nvidia / Parakeet TDT 0.6b V3 - OpenAI / Whisper Large V3 Turbo ## A. コードスイッチングに対するベンチマークでモデルはどの程度機能するか？ エラーを 2 つの次元に沿って分析しました: - Word-level accuracy, measured through WER. WER is the standard approach: it aligns the ground truth transcript with the model's output and quantifies the distance between them. Although it is simple and widely used, it can't distinguish a minor spelling difference from a completely wrong word. - Semantic accuracy, captured through SWER and AER. SWER gives us a holistic view of utterance-level performance, though it reflects a judge model's assessment rather than a direct downstream test. AER, by contrast, is a functional test: for each utterance, three comprehension questions measure whether the most consequential details — case numbers, names, dates, the reason for a request — were preserved in the transcription. The differences between metrics become most meaningful when models diverge across them. ## WER results (lower is better) - ElevenLabs/Scribe V2 and AssemblyAI/Universal-3 Pro are the top two models on transcription accuracy. They are tied on Spanish-English and separated by 0.02-0.13 percentage points across all other language pairs, with Scribe taking a narrow lead on each. - Google/Gemini 3 Flash はすべての言語ペアにおいて緊密に追随し、カナダフランス語-英語では最も遅れをとっており、Scribe よりも 0.14 ポイント、AssemblyAI よりも 0.12 ポイント劣っています。Deepgram/Nova-3、Mistral/Voxtral、Nvidia/Parakeet は中位に位置し、それぞれ少なくとも一つの言語ペアで先行しています。Parakeet はこの三つの中で全体的に最も弱体ですが、ドイツ語-英語では差を縮め、Nova-3 と Voxtral の両者を上回っています。 - OpenAI/Whisper Large V3 Turbo は最下位に位置し、WER（Word Error Rate: 単語誤り率）は 0.16 から 0.61 の範囲にあります。これは大きな低下ですが、Whisper の既知の制限を反映したものです。コードスイッチング音声において明示的な言語パラメータなしで呼び出された場合、Whisper はデフォルトで英語へ翻訳しようとし、音声に含まれる言語を転写するのではなく、結果としてその言語を保持することに失敗します。 ## SWER と AER の結果（数値が低いほど良好） 意味論的指標は WER と概ね同様の物語を語っており、いくつかの逆転が見られます。 - Scribe V2 は非常に低い SWER（Semantic Word Error Rate: 意味単語誤り率）および AER（Alignment Error Rate: アライメント誤り率）スコアを維持し、依然として首位にいます。 - Assembly AI は WER では言語ペア全体で首位または二位でしたが、Gemini 3 Flash は AER で一貫してそれを上回り、AssemblyAI を三位へと押し下げました。SWER でも同様のパターンが見られますが、スペイン語-英語においては AssemblyAI が Gemini よりも優れています。LALM（Large Language Model: 大規模言語モデル）である Gemini は言語理解と推論のために最適化されており、その意味で生転写精度が不足している場合でも、意味に敏感な指標において有利に働く可能性があります。 - Whisper でも同様の性能の推移が見られます。依然として一貫して最下位を維持していますが、意味論的指標の下ではその劣位の幅が大幅に縮小しており、これはコードスイッチングされた音声に対して翻訳ではなく転写を行う傾向があることの直接的な結果です。 意味論的結果はまた、SWER と AER の間の顕著な**一貫性**も明らかにしています。両指標は異なる粒度で動作します — SWER は単語ごとのエラーを集約するのに対し、AER は発話ごとに用意された 3 つの理解質問に正しく回答できるかを測定するため、規模の違いは予想されます。注目すべきは、両指標において相対的なモデルランキングがいかに安定しているかです。明確な外れ値は Deepgram Nova-3 で、これは SWER では中位に位置するものの、すべての言語ペアにおいて AER では最下位または準最下位となっています。この差が最も顕著なのはスペイン語 - 英語の組み合わせで、Nova-3 の意味論的エラー全体の割合は、特に重要な詳細に関するエラー率よりも低いという結果になっています。 ## B. コードスイッチングは単一言語話と比較してどのような追加コストをもたらすのか？ これらの結果はコードスイッチングされた音声におけるモデル性能の相対的な姿を明確に示していますが、エラーが転写そのものの本質的な難しさから生じるのか、それとも言語切り替えによって導入される追加の課題から生じるのかについては明らかにしていません。 コードスイッチングのコストを単独で評価するために、各発話を評価パイプラインに3種類の音声データとして通しました。1つはコードスイッチングされた音声、2つ目は同じ内容の単一言語（マトリックス言語）音声、3つ目は単一言語（英語）音声です。各発話について、コードスイッチング条件と単一言語条件における単語誤り率（WER: Word Error Rate）の差を測定し、ベンチマーク全体でその差分値を集計しました。以下がその結果です。 - Scribe V2、Gemini 3 Flash、AssemblyAI は全体的に最も小さな差分を示しており、特に Scribe V2 は自身の L2 ベースラインを顕著に上回っており、バイリンガル入力に対する真の堅牢性を示しています。 - コードスイッチングの影響も直感的なパターンに従っています。上位システムは単一言語ベースラインと比較してわずかなペナルティしか被らず、一方、下位モデルではより大幅な性能低下が見られます。これは、コードスイッチングがすべてのモデルで難易度を均一に引き上げるのではなく、主に堅牢性の違いを浮き彫りにしていることを示唆しています。 - すべての言語ペアにわたって一貫した構造的パターンが見られます：緑色の棒グラフ（英語に対するコスト）は、赤色の棒グラフ（L2 に対するコスト）よりもほぼ常に大きくなっています。これは予想される結果です。なぜなら、L2 ベースライン自体がほとんどのモデルにとって英語よりも難しいため、それに対して測定した場合のネットな切り替えペナルティは小さくなるからです。最も明確な外れ値は Whisper で、英語に対する劣化度が最大となり、ドイツ語 - 英語では +0.85 に達しています。また、コードスイッチングされた音声において単一言語 L2 よりも高い性能を示す唯一のモデルでもあります。これはデフォルトで翻訳に切り替える結果であり、これによりマトリックス言語を完全に回避しているためです。 ## C. コードスイッチングは ASR システムをどのように破綻させるのか？ コードスイッチングがモデルに誤りをもたらす可能性があることがわかった今、これらの誤りに関連する具体的な条件について調査に移ります。この問いに答えるために、2 つの部分からなるモデルを構築しました。 - まず、少なくとも 1 つの文字起こしエラーが発生することに関連する変数は何かを問うため、ロジスティック回帰を使用します。 - 次に、少なくとも 1 つのエラーが発生したという条件の下で、エラーの規模に関連する変数を調べるために、通常最小二乗法（OLS）回帰を使用します。 この2段階のアプローチにより、エラーが発生しやすくなる要因と、一度発生したエラーの規模に影響を与える要因を区別することが可能になります。両方のステップには同じ予測変数が含まれています：(1) 発話内の**言語切り替えの数**、および (2) **発話のコードスイッチング指数（CMI）** — これは母語に対する副次言語からの単語の割合であり、[Gambäck and Das](https://aclanthology.org/W14-5152.pdf) の定義に従います。また、より長い発話はエラーが発生する機会が増えるため、**発話の長さ**も制御変数として含めています。 ## 転写エラーに関連する変数 モデルの最初の部分から、発話内の**言語切り替えの数**が、転写エラーの発生に関係する予測変数の中で最も一貫して関連していることがわかりました。各言語の変化は、転写プロセスが失敗する追加の機会をもたらすように見えます。この関係は特にフランス語と英語の言語ペアにおいて顕著で、7つのモデルのうち6つで有意な結果が得られました。他の予測変数 — CMI と発話の長さ — は、エラー発生との間に有意な関係をほとんど示しませんでした。 質問が誤りの大きさに移ると、異なるパターンが浮かび上がります。スイッチング回数ではなく、**CMI**（コードスイッチング密度）がより強力な予測因子として浮上します。特にドイツ語と英語の言語ペアにおいては、7 つあるモデルのうち 4 つで、CMI と WER（単語誤り率）の間には有意な正の相関関係が見られました。これは、一度エラーが発生すると、その深刻さは話者がどの頻度で言語を切り替えるかではなく、混合の全体的な密度によって形作られることを示唆しています：発話内で 2 つの言語がどれだけ密に織り交ぜられているかによって、生じる転写誤りの規模も大きくなる傾向があります。 コードスイッチングされた発話のうち、転写エラーに寄与する部分 この 2 部構成モデルは、エラーが発生し悪化する要因が何に関連しているかを説明します。私たちの最終的な実験では、コードスイッチングされた発話のどの部分がこれらのエラーに不均衡に寄与しているのかを検証しました。発話内の英語部分と非英語部分でエラーの分布が異なるかどうかをテストするため、GPT-5 を用いて各単語に言語タグを付与し、各転写エラーが発生した単語の言語にそのエラーを帰属させ、言語ごとの WER（単語誤り率）を計算しました。以下のヒートマップはその結果を示しています。 このパターンはすべてのモデルと言語ペアに共通しており、**誤りは発話の英語部分に集中し、母語（マトリックス言語）の部分には集中しない**というものです。これは直感に反する結果です。なぜなら、これらのモデルは単一言語設定において英語を最も得意とする傾向があるからです。一つの説明として、コードスイッチングされた発話における英語セグメントには、転写が難しい技術用語や固有名詞が不均衡に含まれている可能性があります。もう一つの説明は、埋め込まれた言語のセグメントはどの言語が埋め込まれていても文脈として困難であり、モデルが発話中に母語ではない部分へ移行する際、異なる音韻的・語彙的レジスターに適応する必要が生じ、まさにその区間で誤りの可能性が高まるというものです。 この結果は、コードスイッチングされた音声認識（ASR）における転写の難易度が切り替え点だけに集中しているのではなく、埋め込まれた言語のセグメント全体に広がっていることを示唆しています。このパターンが英語セグメントの語彙的特性、埋め込まれ言語としての構造的役割、あるいは現在のモデルが発話中への適応能力の限界によるものかを解きほぐすことは、将来の研究における有望な方向性です。 ## 制限事項 いくつかの制限事項を認めておく必要があります： - このベンチマークは合成データです。すべての音声は自然なバイリンガル話者によって録音されたものではなく、テキスト読み上げ（TTS）モデルによって生成されたものです。したがって、このベンチマークは実際のコードスイッチングされた発話の韻律的・音韻的特性を完全に捉えきれていない可能性があります。 - すべてのモデルは「自動言語検出」のみを使用して評価されました。一部のシステムには、強制言語トークン、複数言語のヒントなど、コードスイッチング音声における転写品質を向上させる可能性のある設定が用意されていますが、通話者がどの言語ペアを使用するかについてシステムに事前知識がないという本番環境に合わせるため、自動検出を選択しました。 - 言語別の WER は挿入語を除きます。言語別の WER は、各参照単語を英語または非英語としてタグ付けし、誤りを対応するカテゴリに割り当てることで計算されます。挿入された単語の言語を識別するために追加のモデル呼び出しを行わない限り、その言語に挿入語を帰属させることができないため、言語別計算からは除外します。ただし、これらは集計 WER にはカウントされます。 ## 結論 コードスイッチングは長年、音声モデルに対するストレステストとなってきました。私たちの結果は、最前線の ASR システムにおいては、それがもはや通常の条件になりつつあることを示唆しています。 企業が ASR システムを慎重に選択すれば、バイリンガルの顧客は自然な発話が可能になります。会話の要求に応じて文脈内で言語を切り替えながら、転写品質や下流タスクのパフォーマンスを犠牲にすることなく対応できます。当ベンチマークにおける上位モデルは、単一言語ベースラインと比較して驚くほど小さなペナルティでコードスイッチング音声を取り扱い、意味論的指標はさらに励みになる結果を示しています。 しかし、状況は必ずしも一様に明るいわけではありません。本番環境での意思決定を行う前に、顧客が実際に使用する言語についてベンチマークを取る必要があります。モデルや言語ペア間ではパフォーマンスに大きなばらつきがあり、スペイン語と英語を話す人々にとって最適な選択肢が、ドイツ語と英語を話す人々にとっても最適とは限りません。

音声エージェントはバイリンガル顧客に対応できるか？コードスイッチング音声における最先端 ASR のベンチマーク

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト