Baseten、音声 diarization モデルの推論速度を9.6倍に高速化

スピーカーダイアライゼーション（音声記録内で誰がいつ話したかを特定する技術）は、音声 AI における難問の一つですが、実用化されれば非常に有用な技術です。議事録作成、コールセンター分析、ポッドキャストの文字起こし、メディアアーカイブなど、どの分野でも「誰が何を言ったか」を正確に把握することが不可欠です。

しかし、高品質なモデルは通常、実行に時間がかかりコストも高いという課題があります。一方で、手頃な価格のモデルでは、音声製品を開発する現場で求められる精度を満たせないケースが多々あります。さらに、大規模な本番環境でダイアライゼーションを実行する場合、これらのモデルが動作する仕組み上特有の難しさにも直面します。

私たちは、pyannote の最新オープンソースモデル（Community-1）と独自開発モデル（Precision-2）の両方を最適化することに成功しました。これらはそれぞれのカテゴリーで業界最高水準のダイアライゼーション誤り率（DER）を達成しています。効率性を最大 9.6 倍向上させることで、実行コストを抑えつつ、卓越したダイアライゼーション品質を実現できるようになりました。

処理時間と音声の長さの関係：アップストリームの pyannote Community-1 と Baseten が最適化したバージョンを比較。アップストリーム版は処理時間が急激に増加し、15 時間で 891 秒に達し、20 時間付近で単一リクエストの制限である 1200 秒を超えると予測される一方、Baseten の最適化版はほぼ横ばいを維持し、20 時間でもわずか 128 秒。15 時間の時点で 9.6 倍の高速化を実現しています。この最適化されたバージョンは、単一リクエストでは処理が完了しない長時間音声にも対応可能です。

任意の文字起こしモデルへの正確な話者識別

Pyannote は、人間同士の会話における話者認識の基盤です。音声からテキストへの変換（Speech-to-Text）が「何を言ったか」を伝えるのに対し、pyannote は「誰が」「いつ」発言したかを特定します。10 年以上にわたる専門的な研究に基づいて構築され、あらゆる文字起こしモデルと連携するオープンウェイトモデルやダイアライゼーション API を提供しています。

この焦点は、汎用的な文字起こしが苦手とする領域で特に顕著に現れます。単語のタイミングから話者を導き出す手法は、2 人以上が同時に話し始めた瞬間に機能しなくなります。一方、pyannote は音響情報に基づいて処理を行うため、重なり合う音声や交錯する会話を解決し、単語の境界に合わせて切り取るのではなく、10 分の 1 秒単位で話者の区切りを正確に特定します。また、ターン（発言）レベルでの信頼度スコアも返すため、人間が結果を検証する場合や、トレーニングデータをフィルタリングする際に非常に役立ちます。

pyannote のオープンソースモデルは Hugging Face で 10 億回以上ダウンロードされ、30 万人以上の開発者がこれを基盤に活用しています。

通話分離のスループットとレイテンシの改善

さまざまな手法を組み合わせることで、Precision-2 のスループットを 3.2 倍に、Community-1 の長時間音声におけるレイテンシを最大で 9.6 倍向上させました。具体的には以下の施策を実施しています。

• 内部のセグメンテーションモデルおよび埋め込みモデルの予測におけるスケジューリングとバッチ処理の最適化
• CPU と GPU 間のメモリアクセス転送量の削減
• パイプラインを単一のフォワードパスで統合する手法の採用

これらの技術は、リクエストごとのレイテンシ改善にも寄与しています。さらに、各 GPU の特性に合わせてパラメータを微調整し、チップから最大限のパフォーマンスを引き出すようチューニングしました。

次元の呪いとメモリ爆発への対処

多くの実運用ワークロードでは、1 時間を超える音声に対する話者分離（ダイアライゼーション）の実行が必要となりますが、これは最も高品質な結果を得るために完全な文脈を必要とするため、ほとんどのダイアライゼーションモデルにとって根本的な課題です。

ダイアライゼーションモデルは、高次元の埋め込みベクトルに対するクラスタリング処理によって動作します。このような高次元空間、特に長時間の音声データにおけるクラスタリングは、メモリ不足という問題を引き起こしがちです。そこで私たちは、インデックス戦略を適用しました。これにより、単一の GPU で 20 時間の音声をわずか 2 分間でダイアライズすることが可能になりました。これは、最適化されていないパイプラインでは単一のリクエストで完了できない負荷です。

話者クラスタリングには2つのアプローチがあります。従来の手法ではすべての埋め込みベクトルのペアを直接比較するため、計算コストは話者数 N の二乗に比例して増大します。一方、Baseten が採用した方法は、まず類似する埋め込みベクトルをインデックス化して統合し、マイクロクラスタと呼ばれる少数のグループにまとめます。その後、この縮小されたセットに対して同じクラスタリングアルゴリズムを実行します。

これはクラスタリングのロジックそのものを変更するのではなく、問題の規模を事前に変えることで処理量を削減する手法です。そのため、精度は維持したまま計算コストを大幅に減らすことが可能になります。

品質低下なしの量子化

ダイアリゼーションパイプラインのすべての部分を容易に量子化できるわけではありません。そこで私たちは、品質を考慮した量子化アプローチを採用しました。また、各処理部分の感度や低精度データへの耐性に基づき、異なる精度でパイプラインを動作させるミックスドプレシジョン方式も導入しています。

この手法により、独自モデルのスループットは 3.2 倍に向上しました。これは、フォワードパス内でより多くのバッチを処理可能にした結果であり、絶対的な DER（話者誤り率）への影響はわずか 0.5% です。

特筆すべきは、ある処理段階では精度を下げるのではなく、むしろ高い精度で動作させている点です。クラスタリングループは GPU 上で float64 で実行されますが、これは計算量を縮小したわけではなく、GPU へ移動させることで高速化を実現しています。

✕

ダイアライゼーションパイプラインの各段階は、その感度に応じて異なる数値精度で実行されます。最初の畳み込み層には最もフォーマットが小さい FP8 を使用してメモリ節約を最大化し、セグメンテーションには BF16 を、繊細な埋め込み（embeddings）段階には変更を加えない FP32 を、クラスタリングには FP64 を用います。FP64 は精度向上への取り組みであり、サイズを縮小するのではなく GPU 上で実行することで高速化を実現しています。混合精度の採用により、品質に目立った影響を与えることなく速度向上を図ることができます。

結果

結果は自ずと語るでしょう。

品質

VoxConverse データセットにおけるダイアライゼーションエラー率（DER、低いほど良好）

オープンソース版の pyannote Community-1 は 11.1%、独自開発版の pyannote Precision-2 は 8.8% の精度を記録しました。

これらの結果は、モデルの規模と速度を考慮すると、現状で最も優れた性能を示しています。

エンジニアリング効率性

「Vanilla」とは、pip からインストールされた標準的な pyannote を指します。

テスト環境：RTX PRO 6000 1 台、並列処理数 1

Pyannote Precision-2 の性能評価

5 分間の音声データを用いたレイテンシ測定（RTX PRO 6000 単体）:

✕

Upstream pyannote Precision-2 と Baseten が最適化したバージョンの、並列リクエスト数に対するレイテンシ比較。標準モデルでは並列処理が増えるにつれてレイテンシが上昇し続け、16 件の同時リクエストで 20.0 秒に達しますが、Baseten の版は常に低い値を維持し、同条件でも 6.12 秒にとどまります。これは 3.3 倍の高速化です。

upstream の pyannote Precision-2 と Baseten が最適化したバージョンの、レイテンシと並列リクエスト数の比較です。バニラ版モデルは並行度が高まるにつれてレイテンシが上昇し続け、16 件の同時リクエストでは 20.0 秒に達しますが、Baseten のラインはずっと低く抑えられ、同じ条件でわずか 6.12 秒です。これは 3.3 倍の高速化を意味します。

完全な結果は以下の通りです。

この優位性は並行度 4 で最大となり、GPU が飽和状態になるとその差は縮小します。バッチ処理による恩恵は、リソースが枯渇する前に最も大きくなります。私たちの最適化により、5 分間のリクエストに対してスループットを 3.2 倍に引き上げることが可能になりました。

ここで紹介した最適化の多くは、録音済みの音声に対するダイアライゼーションユースケースを対象としています。今後はストリーミング対応のダイアライゼーションモデルに関する改善点についても発表する予定です。また、当社のダイアライゼーションモデルは、スタンドアロンのデプロイメントから、完全パッケージ化されたトランスクリプションおよびダイアライゼーションソリューションまで、さまざまな形態で提供されています。

近日公開：ボイスプリントと話者識別

ダイアライゼーションでは「話者 1」と「話者 2」が別人であることはわかりますが、誰なのかまでは特定できません。ある録音における「話者 1」と、翌日の「話者 1」が同一人物とは限りません。

次に、pyannote を活用した音声識別（ダイアライゼーション）の展開において、「ボイスプリント登録」と「セッション間での話者特定」機能を追加します。短いサンプルから話者を登録しておけば、その後の録音データでは名前付きで該当人物を特定し、信頼度の高いスコアも付与できます。GPU 負荷は増えません。ダイアライゼーション処理の過程で既に話者ごとの埋め込みベクトル（エンコーディング）が計算されており、その値に対する演算だけで識別とキャリブレーションが可能だからです。

最も高速かつ高精度なダイアライゼーションモデルを実行したい場合は、エンジニアにお問い合わせください。