Apple、オンデバイス音声合成のメモリ効率化技術を公開

記事の3ポイント

1. 1

   オンデバイスでのリアルタイム合成の実現

   Siri Expressive Voices は、Apple の最強力なオンデバイス基盤モデルである AFM 3 Core Advanced を駆使し、デバイスの外へ出ずにリッチで構成可能な音声をリアルタイムで生成する。

2. 2

   AMX プロセッサ向けアーキテクチャの最適化

   Apple Matrix Coprocessor (AMX) の厳しい計算資源とメモリ制約の中で動作するため、基盤モデルから出力される意味的オーディオトークンを高忠実度音声に変換するデトクナイザーが設計された。

3. 3

   RVQ 表現を用いた変換技術

   変換プロセスでは、ストリーミング機能を備えた三要素構成の残差ベクトル量子化 (RVQ) 表現へ意味的オーディオトークンを転換する手法が採用されている。