RePo: コンテキスト再配置を備えた言語モデル
Sakana AI が発表した RePo は、トークンの固定インデックスに依存せず、コンテンツの関連性に基づいて文脈を動的に再配置する新技術により、長距離依存関係やノイズのある環境での推論能力を飛躍的に向上させる。
キーポイント
文脈の動的再配置メカニズム
従来の固定されたトークン順序に代わり、モデルが学習した関連性に基づいて情報を再整理し、重要な情報を近くに、ノイズを遠ざけることでアテンション幾何学を最適化する。
認知負荷理論に基づく効率化
人間が情報過多で混乱するのと同様に、モデルも無秩序な入力にリソースを浪費するため、RePo は構造化された入力を提供することで推論能力を解放する。
ノイズと長距離依存関係への強靭性
標準的な符号化方式よりもノイズの多い文脈や複雑な構造データ、長距離にわたる依存関係において顕著な性能向上を示す。
能動的なワーキングメモリの構築
入力順序を受動的に受け入れるのではなく、モデルが自らワーキングメモリをキュレーションする方向への重要な一歩となる。
影響分析・編集コメントを表示
影響分析
この技術は、LLM がコンテキストウィンドウ内の情報を処理する根本的なパラダイム（固定順序から動的再配置へ）を変える可能性を秘めており、長文理解や複雑な推論タスクにおける性能限界の突破に寄与します。実用化されれば、RAG システムや長時間の対話処理など、情報の構造化が重要なアプリケーションにおいて即座に効果が発揮されるでしょう。
編集コメント
「文脈の再配置」という発想は、Transformer の本質的な制約に対する非常に革新的なアプローチであり、今後のアーキテクチャ進化の重要なヒントとなるでしょう。
私たちは、コンテキスト再配置を備えた言語モデル「RePo」の発表を心より嬉しく思います。
インタラクティブウェブサイト: https://pub.sakana.ai/repo/
論文 (arxiv): https://arxiv.org/abs/2512.14391
コード: https://github.com/SakanaAI/repo
概要
標準的な言語モデルは、構造の唯一の手がかりが固定されたトークンインデックスである硬直的な線形シーケンスとして情報を処理するため、物理的な近接を意味的な関連性と同一視せざるを得ません。認知負荷理論は、これが非効率的であることを示唆しています。重要な事実がノイズに埋もれていると人間が苦労するのと同様に、モデルも深い推論に集中する代わりに、整理されていない入力の管理に有限の容量を浪費してしまうのです。
RePoは、モデルが能動的にコンテキストを再編成できるようにすることで、このボトルネックを打破します。固定されたインデックスを使用する代わりに、本モジュールは内容の関連性に基づいて位置を割り当てることを学習します。これにより、モデルは関連する遠方の情報を動的に引き寄せ、ノイズを遠ざけることが可能となり、問題構造に合わせてアテンションの幾何学的構造を効果的に再形成できます。
この柔軟性により、堅牢性が大幅に向上します。RePoは、ノイズの多いコンテキスト、構造化データ、長距離依存関係において、標準的なエンコーディングを上回る性能を示しつつ、競争力のある汎用性能を維持しています。これは、入力順序を受動的に受け入れるのではなく、自身の作業メモリを知的に管理するモデルへ向けた一歩を表すものです。
原文を表示
We’re excited to introduce RePo: Language Models with Context Re-Positioning,
Interactive Website: https://pub.sakana.ai/repo/
Paper (arxiv): https://arxiv.org/abs/2512.14391
Code: https://github.com/SakanaAI/repo
Summary
Standard language models process information as a rigid linear sequence where the only signal for structure is a fixed token index, forcing them to treat physical proximity as semantic relevance. Cognitive Load Theory suggests this is inefficient. Just as humans struggle when key facts are buried in noise, models waste finite capacity managing disorganized inputs instead of focusing on deep reasoning.
RePo breaks this bottleneck by allowing models to actively reorganize their context. Instead of using a fixed index, our module learns to assign positions based on content relevance. This lets the model dynamically pull relevant distant information closer and push noise away, effectively reshaping the attention geometry to match the problem structure.
This flexibility yields significant gains in robustness. RePo outperforms standard encodings on noisy contexts, structured data, and long-range dependencies while maintaining competitive general performance. It represents a step toward models that intelligently curate their own working memory rather than passively accepting input order.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み