LLMにおけるテキストと音声理解のギャップを埋める

LLMにおけるテキストと音声理解のギャップを埋める 著者Santiago Cuervo†, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh 論文を見る 大規模言語モデル（LLM）は、テキストの能力を音声入力に拡張するように適応させることが可能です。しかし、これらの音声適応型LLMは、言語理解タスクにおいて、常にテキストベースの同等モデル、さらにはカスケード型パイプラインよりも性能が劣ります。我々はこの不足分を「テキスト-音声理解ギャップ」と呼びます。これは、音声適応型LLMが音声入力を処理する場合と、元のテキストベースLLMが同等のテキストを処理する場合とを比較して観察される性能低下のことです。このギャップを狭めようとする最近のアプローチは、コストがかかり合成データへの依存度が高いテキストコーパスの大規模音声合成に依存するか、再現性のない大規模な独自音声データセットに依存しています。その結果、テキスト-音声理解ギャップを埋めるための、よりデータ効率の良い代替手段が必要とされています。本研究では、このギャップが二つの要因によって引き起こされていると分析します：(i) 適応過程におけるテキスト能力の忘却、および (ii) 音声とテキスト間のクロスモーダルな不一致です。この分析に基づき、我々はSALAD（Sample-efficient Alignment with Learning through Active selection and cross-modal Distillation）を提案します。これは、クロスモーダル蒸留と、適切に選ばれた合成データを組み合わせることで、不一致を改善しつつ忘却を軽減する手法です。3Bおよび7BのLLMに適用した結果、SALADは、知識、言語理解、推論に関する広範なドメインベンチマークにおいて、強力なオープンウェイトモデルと競合する性能を達成し、かつ公的コーパスからの音声データを1桁以上少ない量で学習しています。 † Université de Toulon, Aix Marseille Université, CNRS, LIS 関連する文献と最新情報 Visatronic: 音声合成のためのマルチモーダルデコーダのみのモデル 2025年7月14日研究分野 手法とアルゴリズム、研究分野 音声および自然言語処理 基盤モデルと大規模言語モデル（LLM）の急速な進歩は、マルチモーダル入力データを活用する機械学習システムの能力を大幅に向上させてきました。しかし、既存のマルチモーダルモデルは、主に事前学習済みLLMの上に構築されており、他のモダリティ間の時間的依存関係を正確にモデル化することを制限し、結果としてモデルがマルチモーダルデータを共同で処理・活用する能力を制限する可能性があります… SpeakStream: インターリーブデータを用いたストリーミングテキスト読み上げ 2025年5月30日研究分野 手法とアルゴリズム、研究分野 音声および自然言語処理 音声フロントエンドと大規模言語モデル（LLM）の統合が進むにつれ、これらのモダリティを統合するアーキテクチャを探求する必要があります。エンドツーエンドモデルは広く研究されていますが、LLMの出力をTTSにストリーミングするカスケードモデルは、潜在的にはるかに単純であるにもかかわらず、不思議なほど研究が進んでいません。しかし、従来のテキスト読み上げシステムを用いてLLMの出力を音声に変換することは、技術的に… 機械学習における機会を発見する 私たちの機械学習研究は、日々新たな領域を切り開いています。 ![](https://mlr.cdn-apple.com/media/Discover_1440x420_2x_9c465d585e.jpg)

LLMにおけるテキストと音声理解のギャップを埋める

背景や根拠まで確認しますか？

調べる

選ぶ

サイト