Hugging Face、コンテキスト圧縮技術「LatentPress」を発表
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
研究者らは LatentPress と呼ぶ新しい手法を発表し、会話履歴や長文をテキスト再構築なしで連続メモリトークンに変換して圧縮・処理する技術を開発した。
AI深層分析を開く2026年9月4日 11:51
AI深層分析
キーポイント
非可読形式でのコンテキスト圧縮の実現
LatentPress は、従来の人間が読むためのテキストや画像として復元する必要のある手法とは異なり、凍結されたデコーダーが入力埋め込みインターフェースを通じて直接読み取れる連続メモリトークンへ変換する。
軽量なトレーニングと高い圧縮率
この技術はデコーダーの 0.1% に相当するアダプター（420 万〜2620 万パラメータ）のみを学習させることで、4 倍から 16 倍の圧縮を実現している。
既存手法を上回る精度と速度
LongMemEval および LongBench-QA の評価において、LatentPress はテキスト要約や OCR ベースの圧縮を凌駕する精度を達成し、記述処理も従来の数倍から 10 倍高速である。
汎用的な機械向けインターフェースとしての検証
ゼロショット転移学習を含む複数の設定下で検証が行われ、テキストや画像に依存しない直接的なソフトトークンが実用的なコンテキストインターフェースとして機能することが示された。
重要な引用
We introduce LatentPress, which writes conversational histories and long documents into a third representation: continuous memory tokens that a frozen decoder reads directly through its input-embedding interface
A small reader-matched writer compresses 4-16times while training only an adapter (4.2M-26.2M parameters)
establishing direct soft tokens as a practical machine-facing context interface beyond text and vision
編集コメントを表示
編集コメント
この研究は、LLM が扱う情報の形式を「人間が読むもの」から「機械が処理するもの」へと再定義した点で画期的である。特に、学習コストを抑えつつ高精度な圧縮を実現した点は、実環境での大規模コンテキスト処理におけるボトルネック解消への期待を持たせる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
圧縮されたコンテキストは、通常、人間が読みやすいテキスト形式か、デコードが必要なレンダリング済み画像として扱われます。これは、その消費者が言語モデルであっても同様です。
我々は「LatentPress」を発表します。これは会話履歴や長文ドキュメントを、第三の表現形式へ書き込むものです。具体的には、凍結されたデコーダーが入力埋め込みインターフェースを通じて直接読み取る連続的なメモリトークンです。推論時にはテキスト再構成は行われません。
軽量なライタ（読者対応型）が 4〜16 倍の圧縮を実現します。学習ではアダプターのみをトレーニングし、パラメータ数は 420 万から 2,620 万（デコーダー全体の 0.1% 未満）です。
LongMemEval ベンチマークにおいて、LatentPress は 7.70 倍の圧縮下で 0.504 の精度を達成しました。これは未圧縮のエビデンス（0.490）を上回り、テキスト要約（0.184）や OCR ベースの圧縮（0.312〜0.426）よりも優れています。
LongBench-QA では、ドメイン内ライタが 4〜8 倍の圧縮下で生コンテキストの読み取りに匹敵するかそれ以上の性能を発揮しました。一方、16 倍圧縮では生コンテキストには劣ります。
会話あたりの記述時間は約 43 ミリ秒です。これはテキスト要約や OCR 再構成よりもおよそ 10 倍高速です。また、読み取り速度は生コンテキストやキャッシュされた OCR よりも 5〜9 倍速いです。
我々は 2 つの転移設定でこのインターフェースを検証しました。1 つ目は UltraChat から LongMemEval のメモリ QA へのゼロショット転移、2 つ目は LongMemEval で派生した QA から未見の LongBench ドキュメントドメインへの転移です。
これにより、テキストやビジョンを超えた実用的な機械向けコンテキストインターフェースとして、直接接続されたソフトトークンの有効性が確立されました。実験の実装は以下の GitHub リポジトリで確認できます：https://github.com/xuyd16ai/context_softtoken_compress
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み