Open ASR リーダーボードに初のグローバルサウス言語追加

Voice Arena と Hugging Face が提携し、ヒンディー語とインド英語向けのオープンな自動音声認識（ASR）評価を立ち上げました。

ベンチマークは、何が構築されるかを決定します。Open ASR Leaderboard で高いスコアを獲得したモデルは採用され、改良が続けられますが、このリーダーボードで測定されていない機能は、ほとんど改善されません。最近の同リーダーボードにおける取り組みの多くは、評価指標をより信頼性の高いものにするためのものです。

• 保持された非公開スプリット
• ベンチマーク適合分析：モデルが音声から直接転写するのではなく、参照テキストをそのまま再現している割合を定量化します。
• ノーマライザーの隙間を埋め、正しい予測や変種が不当に減点されないようにしました。

このようにして、WER（単語誤り率）という一つの数値を操作しにくくしています。しかし、それでもなお「一つの数値」に過ぎません。これまでの多くの研究から、ASR のエラー率は利用する人々によって偏って分布していることが明らかになっています。

Racial disparities in automated speech recognition という論文では、商用システムが黒人話者に対して白人話者の約 2 倍の精度しか出さないことが示されました。また、Quantifying Bias in Automatic Speech Recognition では、性別や年齢、アクセントによってもさらに大きな差があることが指摘されています。

これらの事実はリーダーボード上では一切確認できませんが、それはリーダーボードが悪意を持って隠しているわけではありません。テストセットには「何が話されたか」は記録されていても、「誰が話したか」という情報はほとんど含まれていないからです。

このギャップを埋めるため、Open ASR Leaderboard に 2 つの評価セットを追加しました。それが Monsoon en-IN と Monsoon hi-IN です。ヒンディー語は 5 億人以上が話しており、現在ヨーロッパ言語のみを対象としている多言語タブにおいて、インド系言語として初めて採用されました。

各セットはパブリックスプリットとプライベートスプリットの 2 つに分けて公開されています。パブリックスプリットでは自己採点が可能ですが、ベンチマークへの過剰最適化を防ぐため、プライベートスプリットは非公開としています。これら 4 つのスプリットは話者ごとに完全に分離されており、合計 4,888 人の話者を対象にしています。各話者については 12 の属性情報を記録済みです。

データセットの設計

テストセットは、その中で変化させた要因に対してのみ失敗モードを露呈させることができます。多くのベンチマークは、手元に利用可能な音声データをもとに構築されていますが、Monsoon は地理、年齢、性別、語彙、デバイス、音響環境、話者のタイプ、発話速度、そして同一の音声に対する複数の有効な書き起こしの存在という 9 つの軸に沿って設計されました。各軸は、平均的な WER（単語誤り率）が正しくても、特定の集団にとっては誤っている可能性のある要因を示しています。

このデータ収集方法は、上記の設計思想に基づいています。

• 地理: 限られた場所で長時間収録するのではなく、数百の地区から参加者を募集することでカバー範囲を広げています。
• デバイスと音響条件: 静かな部屋で用意された機器を使用させるのではなく、参加者が自身のスマートフォンや通信回線を用い、屋内・屋外を問わず自然な環境で録音させます。
• 語彙、話者のタイプ、発話速度: これらはプロンプトによって制御されます。意見表明、議論、物語の叙述、記憶の想起など、日常トピックに焦点を当てることで、固有名詞や数値、そして練習していない自然な表現が現れるように設計されています。
• 年齢と性別: 各話者ごとに記録され、検証が行われます。
• 複数の有効な書き起こし: これは音声そのものの性質ではなく、参照データ側の特性であり、後続のセクションで詳しく説明されます。

データセット構成

4 つのスプリット、2 つの言語、1 つのパイプラインを通じて収集されました。

データは、脚本のない双チャンネルの自発的な会話から収集され、各クリップに一人の話者だけが含まれるように単一チャンネルから切り出されています。表に記載されている項目に加え、各クリップには職業、学歴、婚姻状況、所得帯、使用端末のブランド、現在の居住地、およびその地域での居住年数といったメタデータも記録されています。

公開されているインド英語版からの5つのクリップと、それぞれが持つメタデータの例：

29歳の女性、西トリプラ州トリ普拉県。学生、Samsung SM-G781B 使用。

32歳の女性、マディヤ・プラデーシュ州サトナ。無職、Samsung SM-E146B 使用。

22歳の男性、ビハール州ロートス。学生、Motorola Moto G54 5G 使用。

27歳の女性、テランガーナ州ワランガル。無職、Vivo V2247 使用。

57歳の男性、プドゥッチェリー。民間企業勤務、Xiaomi M2006C3LI 使用。

英語版セットでは標準的な文字列参照を使用しており、リーダーボードの正規化処理がほとんどのスペルバリエーションを統一しています。一方、ヒンディー語にはその種類が非常に多く、正規化処理でも解決できません。なぜなら、これらのバリエーションは2つの表記法間の固定的な対応関係ではないからです。そのため、ヒンディー語版セットでは「ラティス（格子構造）」を採用しています。これは、トランスクリプトの各区間に対して、「正しいとみなされるスペルリング」のリストを付与する形式です。

話者カバレッジ

Monsoon は、時間単位で見れば小規模ですが、話者数で見れば大規模なデータセットです。これが設計思想であり、最大の価値もここにあります。

上記の項目を超えた話者の集中度と多様性。

3 つの性質が示され、それぞれは「量」ではなく「ばらつき（分散）」に関する主張です。

• 特定の声優がスコアを支配していない: 上位 10 人の話者が全体の発話時間の 2.8% から 6.8% を占めるに過ぎず、全話者の半数以上はたった一度しか登場しません。Monsoon の評価結果は、少数の話し手を長時間録音したデータではなく、数百人もの異なる声による平均値です。同程度の長さを持つテストセットは通常、この逆の方法で構築されます。

• 特定の地域や端末も支配していない: インド英語のパブリックセットでは、30 の州および連邦直轄領にまたがる 428 の県からデータが収集されています。ヒンディー語セットは「ヒンディー語ベルト地帯」の言語としてより集中していますが、それでも 202 から 295 の県にまたがっています。録音には 315 から 582 の異なるデバイスモデルが含まれており、どのサブセットにおいても単一のモデルがセグメント全体の 2.1% を超えることはありません。標準化されたハードウェアで収集されたコーパスは特定のマイク応答に過学習しやすいですが、このデータセットにはそのリスクがありません。

• インド英語は一つのアクセントではない: これは一国の特定の地域の英語ではなく、国全体で話されている英語です。すべての 6 つの地域がカバーされています。パブリックセットでは、南インドからのセグメントが 35%、東部が 18%、中部が 18%、北部が 16%、西部が 11% を占めています。この広がりによるアクセントの違いは、主張としてではなくメタデータとして記録されています。

メタデータフィールド

Monsoon システムでは、1 セグメントあたり 18 のカラムが用意されており、そのうち 12 はメタデータです。一般的なパブリック ASR テストセットでは、識別子、トランスクリプト、および音声の長さが提供されます。一方、人口統計学的な項目は完全、あるいはほぼ完全に揃っており、寄稿者はこれらの利用に同意しています。

2 つの言語は異なる地理的な分布を示しており、その形状自体が重要な情報となります。ヒンディー語データセットはヒンディー語ベルト地域に集中しており、ウッタル・プラデーシュ州だけで話者の約 40% を占めています。これは人口比でサンプリングされたヒンディー語コーパスの典型的な姿です。一方、インド英語データセットは分布が非常に平坦で、どの州も 13% を超えず、話者の 3 分の 1 は主要な 8 つの州以外から来ています。公共セクションと民間セクションの両方でこの傾向は一致しています。

インドの州境は言語的な境界線に沿って引かれたため、県や州には明確なアクセントの違いが含まれています。そのため、これらの情報は要約して省略するのではなく、そのまま公開されています。インドにおける音声認識（ASR）の大規模分析では、県のレベルでエラー率が 4% から 44% の範囲に及ぶことが報告されており、未十分にカバーされている地域はヒンディー語ベルトや大都市圏よりも劣っています。また、音声品質、発話速度、発話長さ、性別、年齢、デバイスといった要素による詳細な分析も実施されています。これらはクローズドなベンチマーク上での結果でしたが、Monsoon により、同様の分析が公開リーダーボードのテストセットでも可能になりました。

コレクションと品質管理

広範な地理的カバレッジを実現するには、少数の話者から長時間データを収集するのではなく、数百の県にわたって参加者を募集する必要があります。この規模での分散型募集では、小規模な収集では直面しない失敗モードが発生します。具体的には、タスクを悪用する参加者、再生された音声を生身の音声として提出する行為、そして注意散漫なアノテーションです。それぞれに対して、明確なチェック手段を設けて対応しています。

募集と録音：貢献者は、音声データセットがあまりカバーしていない農村部や準都市部にも到達するグローバルなデジタルプラットフォーム「Voice Arena」コミュニティを通じて募集されました。参加者たちは、割り当てられた日常的なトピックについて、ピアツーピアインターフェース上でデュアルチャンネルの二人会話形式で録音を行いました。各自が所有する端末と通信回線を使用しており、多くの場合は低価格帯の端末や不安定な帯域幅環境でした。そのため、リリースされた音声データにはそうした条件が含まれており、フィルタリングは行われていません。参加希望者は録音アクセス権を得る前に言語能力スクリーニングを完了し、報酬を受け取り、トレーニングおよび配布での利用に関するインフォームドコンセントに同意しました。また、話者ごとの録音時間上限が設定されており、各言語について話者の人口規模と地理的分布に応じて調整されています。これにより、少数の多忙な貢献者が特定の言語や地域を独占することを防いでいます。実際、これらのデータセットにおける話者の半数以上は、ちょうど一つのセグメントしか提供していません。

大規模な自発的な音声の収集には独自の難しさがあります。参加者は構造化された指導がない場合、短く断片的な応答になりがちだからです。そのため、各会話ではオープンエンド型の物語的ヒントから始め、段階的にフォローアップ質問を提示しました。対象領域は旅行、医療、農業、教育、デジタルサービスなど多岐にわたり、台本に頼らず参加者が自然に詳細な説明を行うよう会話を誘導します。候補となるトピックは大規模言語モデルで生成した後、母語話者である言語学者がレビューし、現地に合わせたローカライズを行いました。

品質管理：すべての録音は、文字起こし前に一連のゲートチェックを通過しました。話された言語は、30 以上の言語にわたる人間注釈データで訓練された言語識別モデルを用いて、割り当てられた言語と照合され確認されました。話者の性別は、自己申告ラベルに対して専用分類器を用いて確認しましたが、これは自己申告の代替ではなく、それを裏付けるための補強として適用しました。さらに別のモデルが、録音済みや再生された音声から、本物の自発的な会話を識別しました。信号対雑音比（SNR）推定により、聞き取り不可能なほど劣化した録音は除外しましたが、自然な環境の背景ノイズは意図的に保持し、野外で収集された音声の音響的リアリティを維持しています。これらのチェックをクリアした録音は、音声活動検出によってセグメント化され、2 秒間の連続する無音または 15 秒というソフトキャップ（次の検出された無音で終了）で分割されました。セグメンテーションはチャンネルごとに独立して適用されるため、各セグメントは単一話者・単一チャンネルとなります。その後、すべてのセグメントが DNSMOS P.808 チェックを通過しました。

文字起こし：参照用テキストは人間が作成したものです。最初のドラフトは、ドメイン固有データでトレーニングされた内部の ASR モデルによって生成されましたが、これらのデータが公開リーダーボードに存在するシステムはありません。したがって、評価対象となるセットに対して評価されたシステムは、参照テキストの作成には一切関与していません。その後のすべての工程は、厳格な役割分担に基づく 5 レベルのプロトコルに従った母語話者の言語学者によって行われました。このプロトコルでは、各修正ラウンドの後に異なる注釈担当者が行う独立した検証ラウンドが必ず続きます。これにより、誰かが自分の出力を監査することはありません。まず、言語学者は音声信号に対してドラフトをセグメントごとに修正します。次に、2 番目の担当者がこれを再検証し、残りの不一致にフラグを立てます。その後のレベルでは、新しい注釈担当者によってこのサイクルが繰り返し行われ、曖昧な音韻的実現、コードスイッチングの境界、固有名詞、およびスペリングバリエーション全体での正字法の整合性が段階的に解決されます。数字は単語として表記されるため、文字起こし内容は発話内容と直接対応します。最終レベルでもフラグが付けられたセグメントについては、採用前に再文字起こしが行われました。注釈担当者の行動は常に自動監視され、対象となるスクリプトにない文字が含まれる提出物や、不自然な文字・単語の繰り返し、異常に低いまたは高い編集回数が含まれる提出物は自動的にフラグ付けされました。

地域変異

以下は、公開されているインド英語スプリットで実行された一例です。この例は、メタデータによって可能になる評価の一種を示すものであり、セットが存在する目的そのものではありません。これは、すべての音声クリップに話者が紐付けられることで初めて答えが得られるようになることの具体例です。

リーダーボード上の 8 つのモデルは、このセットにおいて WER（単語誤り率）で 4.81 から 4.99 の範囲にあります。これは最上位と最下位の差がわずか 0.18 ポイントであり、5 時間の処理時間で見極められる精度の範囲内です。コーパス全体でのランキングでは、これらは同一モデルとして扱われます。

しかし、話者を地域ごとにグループ化すると全く異なる物語が見えてきます。各話者の母語圏は、インド政府の内務省が定める州の連合である「ゾーン評議会」に集約され、5 つの十分にサンプリングされたゾーンが形成されます。openai/whisper-large-v3-turbo は、これらゾーン間で 0.46 ポイントの変動を示します。一方、コーパス全体ではわずか 14 分の 1 ポイント差で後方に位置する mistralai/Voxtral-Mini-3B-2507 は、1.68 ポイントの変動を示します。具体的には中央ゾーンで 4.38、東部ゾーンで 6.06 という結果です。リーダーボード上では区別がつかない 2 つのシステムですが、話者の出身地によって精度にどれほど依存するかが、実に約 4 倍も異なるのです。

どの地域が最も困難かは固定されていません。ibm-granite/granite-speech-3.3-2b は北部で最も評価が低く、microsoft/VibeVoice-ASR-HF は南部で、mistralai/Voxtral-Mini-3B-2507 は東部でそれぞれ最下位となっています。もし単に特定の地域が文字起こしにとって難しいだけなら、すべてのモデルが同じ順位付けをするはずです。しかし実際にはそうならず、これは音声そのものよりもモデル側の要因を示唆しています。

この「地域」は 12 の記録属性の一つであり、上記のゾーンは 428 の地区を粗く集約したものです。年齢、学歴、職業、端末といった項目でも同様の内訳が示されており、公開されたファイルにはこれを再現するために必要なデータがすべて含まれています。一方、発話内容のみを記録するテストセットではこれらの詳細は利用できません。

ヒンディー語の表記揺れ

英語の表記揺れには一定の範囲があります。イギリス式とアメリカ式のスペリング、句読点や大文字の使用、数字と単語の使い分けなどです。正規化器を使えばこれらを単一の形式に統一でき、本リーダーボードもそのように処理しています。一方、ヒンディー語はそうはいきません。日常会話ではコードスイッチング（言語の混用）が頻繁に見られ、英語由来の言葉には定まったデーヴァナーガリー文字での表記がありません。また、複合語は好みに応じて結合形や分離形で書かれます。一つのフレーズには 10 種類以上の正しい書き方が存在し、どの形式も「標準」として固定されていないため、それらを単一の形にまとめる正規化ルールが存在しません。

1 つの正解参照のみで評価を行う WER（Word Error Rate）は、アノテーターがたまたま選んだ綴り方にシステムを評価する仕組みです。音声認識の結果が同等であっても、単に表記の違いだけで数ポイントの評価差が生じる可能性があります。

そのため、ヒンディー語のデータセットではラティス構造を採用しています。これは、テキストの各区間に対して「正解として許容される書き方の集合」を定義したものです。この構築には手作業が必要です。候補となる変異形は、同じ音声に対する複数の ASR 認識結果から抽出し、言語モデルで拡張します。その後、母語話者である言語学者がそれぞれの発話においてどの形式が妥当かを判断し、それ以外を剪定します。これにより、実際に発せられた内容と矛盾しない表記のみが正解として認められます。

その結果、ヒンディー語では AI4Bharat が提案した Orthographically-Informed Word Error Rate (OIWER) を WER の代わりに採用して報告しています。各区間において仮説を許容セットに照合するため、認められた形式のいずれかが正解としてカウントされ、真の認識エラーのみが誤りとして計上されます。

その効果を定量化するために、同じ仮説を 2 回スコアリングしました。各ラティスをスパンごとの最初のバリアントにフラット化すると、従来のベンチマークが提供するような単一の文字列参照が得られます。どのバリアントを採用しても同等の結果となり、異なる選択を行えば別の参照になります。このフラット化された参照に対してスコアリングすると、すべてのシステムでエラー率が上昇しますが、その上昇幅は一律ではありません。その結果、ランキング順序が変わります。

下の図では、2 つの参照間で順序が逆転する 2 ペアのシステムを示しています。単一の参照の下では、システムは注釈者の表記を再現した部分に対して評価されますが、ラティススコアリングでは認識のみが評価されます。

また、実装もオープンソース化しました（voi-oiwer）。これにより、これらのセットでのすべての結果を直接再現することが可能になります。

評価について

プライベートスプリットについては、モデルを Open ASR Leaderboard に登録してください。Hugging Face チームが評価を実行します。前回のケースと同様、リーダーボードへのモデル追加プロセスは Open ASR Leaderboard GitHub で実施されます。

• プルリクエストを開くと、モデルチェックリストが表示されます。前回のケースと同様に、パブリックデータセットでの結果を報告してください。

• パブリックセットの結果を検証し、プライベートセットのメトリクスを計算します。

取得した結果を確認しましょう。

インド英語が、デフォルトのカラムセットとして「Voice Arena Monsoon」に追加され、オプトイン式トグルではなく、すべてのモデルのヘッドライン平均 WER に寄与するようになりました。プライベート分割は、Appen と DataoceanAI のデータ とともに「Private (conversational)」カラムを集計するために利用されます。一方、パブリックおよびプライベートのヒンディー語は Multilingual タブ に表示され、モデルが選択されたすべての言語に対応している場合にのみランク付けされるため、このカラムは同等条件での比較を可能にします。あるいは、「Language dataset breakdown」ドロップダウンメニューから「Hindi」を選択することもできます。

今後の展望

ヒンディー語は、より広範な問題の顕著な事例です。複数の表記法を持つ言語や、ベンチマークでサンプリングされていない人々によって話される言語には、ここで説明した二つの失敗が必ず伴います。これらのデータセット自体が問題を解決するわけではありません。重要なのは、これらがその問題を目に見える形にすることです。すでに業界が注目しているリーダーボード上にテストセットを配置し、各話者や参照テキストに関する十分な情報を保持することで、2 つのシステム間の差異が「誰が発話したか」「どのように表記されているか」に起因するものとして追跡可能になります。以前のように単一の数値に埋もれてしまうことがなくなります。

これら 4 つのデータセットは、Voice Arena がグローバルサウス向けに展開している広範なデータセットイニシアチブ「Monsoon」の一部です。