LLMにおけるテキストと音声理解のギャップを埋める
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Apple Machine Learning
音声対応LLMは、言語理解タスクでテキスト専用モデルや従来手法より性能が低く、このギャップを解消する研究が進められている。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
LLMにおけるテキストと音声理解のギャップを埋める
著者Santiago Cuervo†, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh
論文を見る
大規模言語モデル（LLM）は、テキストの能力を音声入力に拡張するように適応させることが可能です。しかし、これらの音声適応型LLMは、言語理解タスクにおいて、常にテキストベースの同等モデル、さらにはカスケード型パイプラインよりも性能が劣ります。我々はこの不足分を「テキスト-音声理解ギャップ」と呼びます。これは、音声適応型LLMが音声入力を処理する場合と、元のテキストベースLLMが同等のテキストを処理する場合とを比較して観察される性能低下のことです。このギャップを狭めようとする最近のアプローチは、コストがかかり合成データへの依存度が高いテキストコーパスの大規模音声合成に依存するか、再現性のない大規模な独自音声データセットに依存しています。その結果、テキスト-音声理解ギャップを埋めるための、よりデータ効率の良い代替手段が必要とされています。本研究では、このギャップが二つの要因によって引き起こされていると分析します：(i) 適応過程におけるテキスト能力の忘却、および (ii) 音声とテキスト間のクロスモーダルな不一致です。この分析に基づき、我々はSALAD（Sample-efficient Alignment with Learning through Active selection and cross-modal Distillation）を提案します。これは、クロスモーダル蒸留と、適切に選ばれた合成データを組み合わせることで、不一致を改善しつつ忘却を軽減する手法です。3Bおよび7BのLLMに適用した結果、SALADは、知識、言語理解、推論に関する広範なドメインベンチマークにおいて、強力なオープンウェイトモデルと競合する性能を達成し、かつ公的コーパスからの音声データを1桁以上少ない量で学習しています。
† Université de Toulon, Aix Marseille Université, CNRS, LIS
関連する文献と最新情報
Visatronic: 音声合成のためのマルチモーダルデコーダのみのモデル
2025年7月14日研究分野 手法とアルゴリズム、研究分野 音声および自然言語処理
基盤モデルと大規模言語モデル（LLM）の急速な進歩は、マルチモーダル入力データを活用する機械学習システムの能力を大幅に向上させてきました。しかし、既存のマルチモーダルモデルは、主に事前学習済みLLMの上に構築されており、他のモダリティ間の時間的依存関係を正確にモデル化することを制限し、結果としてモデルがマルチモーダルデータを共同で処理・活用する能力を制限する可能性があります…
SpeakStream: インターリーブデータを用いたストリーミングテキスト読み上げ
2025年5月30日研究分野 手法とアルゴリズム、研究分野 音声および自然言語処理
音声フロントエンドと大規模言語モデル（LLM）の統合が進むにつれ、これらのモダリティを統合するアーキテクチャを探求する必要があります。エンドツーエンドモデルは広く研究されていますが、LLMの出力をTTSにストリーミングするカスケードモデルは、潜在的にはるかに単純であるにもかかわらず、不思議なほど研究が進んでいません。しかし、従来のテキスト読み上げシステムを用いてLLMの出力を音声に変換することは、技術的に…
機械学習における機会を発見する
私たちの機械学習研究は、日々新たな領域を切り開いています。
原文を表示
Closing the Gap Between Text and Speech Understanding in LLMs
AuthorsSantiago Cuervo†, Skyler Seto, Maureen de Seyssel, Richard He Bai, Zijin Gu, Tatiana Likhomanenko, Navdeep Jaitly, Zakaria Aldeneh
View publication
Large Language Models (LLMs) can be adapted to extend their text capabilities to speech inputs. However, these speech-adapted LLMs consistently underperform their text-based counterparts—and even cascaded pipelines—on language understanding tasks. We term this shortfall the text-speech understanding gap: the performance drop observed when a speech-adapted LLM processes spoken inputs relative to when the original text-based LLM processes the equivalent text. Recent approaches to narrowing this gap either rely on large-scale speech synthesis of text corpora, which is costly and heavily dependent on synthetic data, or on large-scale proprietary speech datasets, which are not reproducible. As a result, there remains a need for more data-efficient alternatives for closing the text-speech understanding gap. In this work, we analyze the gap as driven by two factors: (i) forgetting of text capabilities during adaptation, and (ii) cross-modal misalignment between speech and text. Based on this analysis, we introduce SALAD—Sample-efficient Alignment with Learning through Active selection and cross-modal Distillation—which combines cross-modal distillation with targeted synthetic data to improve alignment while mitigating forgetting. Applied to 3B and 7B LLMs, SALAD achieves competitive performance with a strong open-weight model across broad-domain benchmarks in knowledge, language understanding, and reasoning, while training on over an order of magnitude less speech data from public corpora.
† Université de Toulon, Aix Marseille Université, CNRS, LIS
Related readings and updates.
Visatronic: A Multimodal Decoder-Only Model for Speech Synthesis
July 14, 2025research area Methods and Algorithms, research area Speech and Natural Language Processing
The rapid progress of foundation models and large language models (LLMs) has fueled significantly improvement in the capabilities of machine learning systems that benefit from mutlimodal input data. However, existing multimodal models are predominantly built on top of pre-trained LLMs, which can limit accurate modeling of temporal dependencies across other modalities and thus limit the model’s ability to jointly process and leverage multimodal…
SpeakStream: Streaming Text-to-Speech with Interleaved Data
May 30, 2025research area Methods and Algorithms, research area Speech and Natural Language Processing
With the increasing integration of speech front-ends and large language models (LLM), there is a need to explore architectures that integrate these modalities. While end-to-end models have been explored extensively, cascaded models that stream outputs from LLMs to TTS seem to be oddly under-explored, even though they are potentially much simpler. Using traditional text-to-speech systems to convert LLM outputs to audio, however, poses a technical…
Discover opportunities in Machine Learning.
Our research in machine learning breaks new ground every day.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み