NVIDIA、テキスト知能を維持する統合型音声・言語モデル「Audex」を発表

記事の3ポイント

1. 1

   テキスト性能の維持と設計思想

   NVIDIA の研究チームは、音声や視覚機能を追加するとテキストベンチマークが低下する「テキスト税」を回避するため、オーディオ入力をテキスト埋め込み空間に投影し、生成時にトークンとして扱う単一の MoE モデルとして Audex を設計した。

2. 2

   技術的アーキテクチャと構成

   Audex は 30B パラメータのうち 3B が活性化される Mixture-of-Experts モデルで、バックボーンは Nemotron-Cascade-2-30B-A3B であり、音声エンコーダーに AF-Whisper を採用し、語彙サイズを拡張して非音声音も生成可能とした。

3. 3

   トレーニング手法とライセンス

   同社によると、オーディオ事前学習を必要とせずテキスト SFT チェックポイントから段階的に能力を追加するマルチステージ SFT とテキストのみによる Cascade RL を実施し、30B モデルおよび 2B モデルは非商用ライセンスで公開された。