事前学習済みLLMの位置埋め込みを削除することでコンテキストを拡張
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Sakana AI
SakanaAIが、事前学習済み大規模言語モデルの位置埋め込みを削除するDroPE手法を発表した。この手法は、大規模な計算コストを伴わずにコンテキスト長を拡張できる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
私たちはDroPEを発表します：事前学習済みLLMのコンテキスト長を拡張するために、その位置埋め込みを除去する手法です！
インタラクティブウェブサイト: https://pub.sakana.ai/DroPE/
論文 (arxiv): https://arxiv.org/abs/2512.12167
コード: https://github.com/SakanaAI/DroPE
概要
大規模な長文コンテキストファインチューニングに通常伴う膨大な計算コストをかけずに、事前学習済みLLMのコンテキスト長を拡張する新手法「DroPE」を公開します。
本研究の中核となる洞察は、Transformerアーキテクチャの根本的な前提に疑問を投げかけるものです。RoPEのような明示的な位置埋め込みは、学習の収束には不可欠ですが、最終的にはモデルがより長い系列へ一般化することを阻む主要なボトルネックとなることを発見しました。
私たちの解決策は極めてシンプルです。位置埋め込みを、アーキテクチャに永続的に必要な要素ではなく、一時的な学習の「足場」として扱うことです。
膨大なコード差分のレビューや法律文書の分析といった実世界のワークフローでは、標準的な事前学習済みモデルの限界を超えるコンテキスト長が要求されます。位置埋め込みなし（NoPE）のモデルは、こうした未見の長さへの一般化性能に優れますが、ゼロから学習させるのが極めて不安定であることが知られています。
本研究では、事前学習中の安定性を確保するために位置埋め込みを利用し、推論時にそれを除去して長さの外挿を可能にすることで、両者の利点を兼ね備えることに成功しました。このアプローチにより、高コストな長文コンテキスト学習を一切行うことなく、シームレスなゼロショットでのコンテキスト拡張が実現します。
私たちは、この効果をさまざまなオフ・ザ・シェルフのオープンソースLLMで実証しました。テストでは、任意のモデルをDroPEで再調整するのに必要なコストは、元の事前学習予算の1%未満です。それにもかかわらず、LongBenchやRULERといった難易度の高いベンチマークにおいて、確立された既存手法を大幅に上回る性能を示しました。
現代のLLMにおける位置エンコーディングの役割についてコミュニティが再考することを促すため、コードと論文全文を公開します。
論文では、このトレードオフに関する理論的分析も提供しています。NoPEトランスフォーマーは勾配消失により注意パターンをゼロから学習するのが困難である一方、標準的なRoPEのスケーリングは低周波数を圧縮することで、必然的に意味的注意を歪めてしまうことを証明します。DroPEは両方の問題を回避します。すなわち、収束のためにはRoPEを利用し、拡張時の意味的シフトを避けるためにそれを除去するのです。
原文を表示
We’re excited to introduce DroPE: Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings!
Interactive Website: https://pub.sakana.ai/DroPE/
Paper (arxiv): https://arxiv.org/abs/2512.12167
Code: https://github.com/SakanaAI/DroPE
Summary
We are releasing a new method called DroPE to extend the context length of pretrained LLMs without the massive compute costs usually associated with long-context fine-tuning.
The core insight of this work challenges a fundamental assumption in Transformer architecture. We discovered that explicit positional embeddings like RoPE are critical for training convergence but eventually become the primary bottleneck preventing models from generalizing to longer sequences.
Our solution is radically simple: We treat positional embeddings as a temporary training scaffold rather than a permanent architectural necessity.
Real-world workflows like reviewing massive code diffs or analyzing legal contracts require context windows that break standard pretrained models. While models without positional embeddings (NoPE) generalize better to these unseen lengths, they are notoriously unstable to train from scratch.
Here, we achieve the best of both worlds by using embeddings to ensure stability during pretraining and then dropping them to unlock length extrapolation during inference. Our approach unlocks seamless zero-shot context extension without any expensive long-context training.
We demonstrated this on a range of off-the-shelf open-source LLMs. In our tests, recalibrating any model with DroPE requires less than 1% of the original pretraining budget, yet it significantly outperforms established methods on challenging benchmarks like LongBench and RULER.
We have released the code and the full paper to encourage the community to rethink the role of positional encodings in modern LLMs.
In the paper, we provide a theoretical analysis of this trade-off. We prove that while NoPE transformers struggle to learn attention patterns from scratch due to vanishing gradients, standard RoPE scaling inevitably warps semantic attention by compressing low frequencies. We show that DroPE sidesteps both issues: utilizing RoPE for convergence, then removing it to avoid semantic shift during extension.
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み