Hugging Face、効率的なオムニモーダル LLM のための統一トークン圧縮手法「OmniPack」を発表

記事の3ポイント

1. 1

   トレーニング不要な両段階圧縮アプローチ

   OmniPack は LLM 入力前の構造的冗長性除去と、LLM 内部でのタスク関連セマンティック統合を協調させるトレーニング不要のフレームワークである。

2. 2

   既存手法の課題克服

   従来の低トークン予算下での性能低下や、クエリ条件付きの音声・視覚協力の未活用といった既存手法の限界を解消する設計となっている。

3. 3

   Qwen2.5-Omni-7B における劇的な効率化

   同モデルにおいて、元の性能の 98.0% を維持しつつ FLOPs を 16.7% に削減し、FLOPs を 6.8% に抑えても 92.9% の性能を保持する成果を示した。