Hugging Face、効率的なオムニモーダル LLM のための統一トークン圧縮手法「OmniPack」を発表
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
OmniPack は、LLM 前処理における構造的圧縮と LLM 内部でのセマンティック統合を協調させるトレーニング不要のフレームワークであり、Qwen2.5-Omni-7B において計算コストを大幅に削減しながら性能維持を実現した。
AI深層分析を開く2026年8月5日 22:26
AI深層分析
キーポイント
トレーニング不要な両段階圧縮アプローチ
OmniPack は LLM 入力前の構造的冗長性除去と、LLM 内部でのタスク関連セマンティック統合を協調させるトレーニング不要のフレームワークである。
既存手法の課題克服
従来の低トークン予算下での性能低下や、クエリ条件付きの音声・視覚協力の未活用といった既存手法の限界を解消する設計となっている。
Qwen2.5-Omni-7B における劇的な効率化
同モデルにおいて、元の性能の 98.0% を維持しつつ FLOPs を 16.7% に削減し、FLOPs を 6.8% に抑えても 92.9% の性能を保持する成果を示した。
多様なベンチマークでの最上位実績
5 つのベンチマークと 3 つの Omni-LLM バックボーンで実験が行われ、あらゆる保持比率において既存手法を上回る性能効率トレードオフを達成した。
重要な引用
OmniPack, a training-free framework that coordinates structural compression before the LLM with task-relevant semantic refinement within the LLM.
on Qwen2.5-Omni-7B, OmniPack preserves 98.0% of the original performance while reducing FLOPs to 16.7%
OmniPack consistently achieves the best performance-efficiency trade-off across diverse retention ratios
編集コメントを表示
編集コメント
トレーニング不要で既存モデルの効率を劇的に向上させる手法は、実運用におけるコスト削減に直結する重要な進展である。特に Qwen2.5-Omni-7B での成果は、リソース制約下でも高品質なマルチモーダル処理を可能にする新たな基準を示している。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
オムニモーダル大規模言語モデル（Omni-LLM）は音声・映像理解タスクにおいて目覚ましい成果を上げていますが、長く冗長な視覚・音声トークンシーquencesの処理には膨大な計算コストがかかり、効率的な展開のためには積極的なトークン圧縮が不可欠です。既存手法ではトークン予算が少ないと性能が急激に低下します。LLM 前の圧縮では構造的に重要で広範囲に分布する証拠情報が失われる恐れがあり、LLM 内部での圧縮ではクエリ条件に応じた音声・映像の協働を十分に活用できていません。
これらの課題に対処するため、私たちはトレーニング不要のフレームワーク「OmniPack」を提案します。これは LLM 前に構造的な圧縮を行い、LLM 内でタスク関連の意味情報を洗練させる手法です。LLM の前段階では、モダリティ固有の重要度、グローバルカバレッジ、類似性に基づくマージを通じて構造的冗長性を除去します。十分なマルチモーダル相互作用の後、テキストガイダンスと音声・映像の協働によって多様なタスク関連表現をさらに統合します。
3 つの Omni-LLM バックボーンを用いた 5 つのベンチマークでの広範な実験により、OmniPack がさまざまな保持比率において一貫して最良のパフォーマンスと効率性のトレードオフを実現し、既存手法を上回ることを示しました。特筆すべきは Qwen2.5-Omni-7B における結果で、元の性能を 98.0% 維持しながら FLOPs を 16.7% に削減でき、さらに FLOPs を元の 6.8% に抑えても性能は 92.9% を保持しています。
原文を表示
Omni-modal large language models (Omni-LLMs) have achieved remarkable performance on audio-visual understanding tasks, but processing long and highly redundant visual and audio token sequences incurs substantial computational overhead, demanding aggressive token compression for efficient deployment. Existing methods often degrade at low token budgets: pre-LLM compression may discard structurally important and globally distributed evidence, whereas inner-LLM compression often underexploits query-conditioned audio-visual collaboration. To address these limitations, we propose OmniPack, a training-free framework that coordinates structural compression before the LLM with task-relevant semantic refinement within the LLM. Before the LLM, OmniPack removes structural redundancy through modality-specific importance, global coverage, and similarity-aware merging. After sufficient multimodal interaction, it further consolidates diverse, task-relevant representations through textual guidance and audio-visual collaboration. Extensive experiments on five benchmarks with three Omni-LLM backbones demonstrate that OmniPack consistently achieves the best performance-efficiency trade-off across diverse retention ratios, outperforming all existing methods. Notably, on Qwen2.5-Omni-7B, OmniPack preserves 98.0% of the original performance while reducing FLOPs to 16.7%, and still retains 92.9% of the original performance with only 6.8% of the original FLOPs.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み