Hugging Face、音声生成・編集のオープンソース基盤モデル「AuK」を公開

記事の3ポイント

1. 1

   多機能統合アーキテクチャの確立

   AuK はマルチモーダルLLMによる意味条件付けとVAEによる音響条件付けを組み合わせ、ハイブリッド整流フローTransformerで音声生成から編集、分離までを単一モデルで処理する。

2. 2

   大規模かつ多様なトレーニングデータ

   同社によると、音声生成、コンテンツ編集、強化・分離、副言語編集、音響編集の5つのタスクファミリーにわたる約30億件の指令音声インスタンスと195万時間の有効監督データを構築した。

3. 3

   高速推論を実現する最適化技術

   一貫性初期化とタスクルーティングされたDecoupled DMDを用いたモデル蒸留により、AuK-Flashは分類器フリーガイダンスなしで4ステップの推論を可能にし、フルモデル比で4.5倍の速度向上を達成した。