連続拡散型音声言語モデルのスケーリング特性に関する研究

記事の3ポイント

1. 1

   音声モデルの現状と課題

   現在の音声専用言語モデル（SLM）はテキストやテキスト音声モデルに性能で劣っており、離散自己回帰方式では同等の性能を出すために膨大な計算資源とデータが必要となるボトルネックが存在する。

2. 2

   連続拡散アプローチの提案

   連続的な音声を離散化するプロセスがボトルネックとなるため、Apple は連続拡散（CD）を用いた SLM がより実現可能であると仮説を立てて検証を行った。

3. 3

   言語品質評価指標 pJSD の導入

   SLM の言語的品質を定量化するために、音素 Jensen-Shannon 分散（pJSD）という新たな評価指標を開発し、モデルの性能測定に適用した。