Hugging Face、音声生成・編集のオープンソース基盤モデル「AuK」を公開

自然言語の指示と音声コンテキストを共通インターフェースとして統合し、音声生成と編集を両立するオープンソース基盤モデル「AuK」を紹介します。この広範な機能を実現するため、音声生成、コンテンツ編集、強化・分離、副言語的編集、音響編集という 5 つのタスクファミリーにわたって、約 30.3 億件の指示 - 音声インスタンスと 195 万時間の効果的な教師データを構築しました。

AuK は、意味条件付けのためのマルチモーダル大規模言語モデル、音声・一般オーディオ・音楽を同時に学習して音響条件付けを行う VAE（変分オートエンコーダー）、そして生成には双ストリームの MMDiT ブロックに続く統一された単一ストリームの DiT ブロックを実行するハイブリッドな整流フロー Transformer を組み合わせています。トレーニングはまず生成専用のウォームアップから始まり、その後に生成と編集を統合した事前学習へと進みます。その後、自由形式の編集には人間フィードバックに基づく選好最適化を、音声生成には報酬ベースの強化学習という補完的なポストトレーニング戦略を適用します。

推論コストの削減のため、モデルは一貫性初期化とタスク経路指定型 Decoupled DMD を用いて蒸留されます。その結果生まれた AuK-Flash は、クラスフリーガイダンスなしで 4 ステップの推論を実現し、同等条件におけるフルモデルと比較して 4.5 倍の壁時計速度向上を達成します。

実験により、ゼロショットおよび指示制御による音声生成、一般的な指示に基づく編集において最先端の性能を示す一方、信号レベルでの復元タスクでも競争力のある結果を達成しました。再現性とさらなる研究を支援するため、ソースコードとモデル重み（ウェイト）の両方を公開します。