事前学習済みLLMの位置埋め込みを削除することでコンテキストを拡張

私たちはDroPEを発表します：事前学習済みLLMのコンテキスト長を拡張するために、その位置埋め込みを除去する手法です！ インタラクティブウェブサイト: https://pub.sakana.ai/DroPE/ 論文 (arxiv): https://arxiv.org/abs/2512.12167 コード: https://github.com/SakanaAI/DroPE 概要 大規模な長文コンテキストファインチューニングに通常伴う膨大な計算コストをかけずに、事前学習済みLLMのコンテキスト長を拡張する新手法「DroPE」を公開します。 本研究の中核となる洞察は、Transformerアーキテクチャの根本的な前提に疑問を投げかけるものです。RoPEのような明示的な位置埋め込みは、学習の収束には不可欠ですが、最終的にはモデルがより長い系列へ一般化することを阻む主要なボトルネックとなることを発見しました。 私たちの解決策は極めてシンプルです。位置埋め込みを、アーキテクチャに永続的に必要な要素ではなく、一時的な学習の「足場」として扱うことです。 膨大なコード差分のレビューや法律文書の分析といった実世界のワークフローでは、標準的な事前学習済みモデルの限界を超えるコンテキスト長が要求されます。位置埋め込みなし（NoPE）のモデルは、こうした未見の長さへの一般化性能に優れますが、ゼロから学習させるのが極めて不安定であることが知られています。 本研究では、事前学習中の安定性を確保するために位置埋め込みを利用し、推論時にそれを除去して長さの外挿を可能にすることで、両者の利点を兼ね備えることに成功しました。このアプローチにより、高コストな長文コンテキスト学習を一切行うことなく、シームレスなゼロショットでのコンテキスト拡張が実現します。 私たちは、この効果をさまざまなオフ・ザ・シェルフのオープンソースLLMで実証しました。テストでは、任意のモデルをDroPEで再調整するのに必要なコストは、元の事前学習予算の1%未満です。それにもかかわらず、LongBenchやRULERといった難易度の高いベンチマークにおいて、確立された既存手法を大幅に上回る性能を示しました。 現代のLLMにおける位置エンコーディングの役割についてコミュニティが再考することを促すため、コードと論文全文を公開します。 論文では、このトレードオフに関する理論的分析も提供しています。NoPEトランスフォーマーは勾配消失により注意パターンをゼロから学習するのが困難である一方、標準的なRoPEのスケーリングは低周波数を圧縮することで、必然的に意味的注意を歪めてしまうことを証明します。DroPEは両方の問題を回避します。すなわち、収束のためにはRoPEを利用し、拡張時の意味的シフトを避けるためにそれを除去するのです。

事前学習済みLLMの位置埋め込みを削除することでコンテキストを拡張

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト