zartbot研究・専門家·2026年9月9日 09:28·約21分

Loops Are Not What You Need：未来のTransformer論考

#LLM #Transformer アーキテクチャ #自己改善 (RSI)#Attention メカニズム

整理・翻訳:ainew.jp 編集システムAIによる自動処理作り方と限界

本文の状態

日本語全文あり

詳細モードで約21分の本文を読めます。

同じ出来事の情報源

この情報源を基点に整理

zartbot

30秒でわかる

GPT-6 Astra の憶測に対し、Loop と Recursive の二種類を定義し、前者は層循環、後者はコンテキスト管理の再帰構造と論じる。

記事の3ポイント

Loop Transformer の本質的限界
著者は既存の Loop Transformer が残差流への注入により Q、K、V を同時に変化させてしまうため、記憶の内容と検索（アドレス）を分離できない根本的な欠陥を持つと論じる。
Transformer 内部の記憶注入点分析
標準的な Pre-LN Transformer Block において、残差流、バイアス、メトリクス行列など、計算グラフ上に複数の記憶注入ポイントが存在することを特定し、その特性を詳細に解析する。
次世代 LLM と RSI の方向性
CoT を導入した第 2 世代モデルの次に到来すべきは、Q、K、V の記憶注入を分離し、テスト時に動的に制御可能な再帰的（Recursive）アーキテクチャであり、これが自己改善（RSI）への鍵になるとする。

なぜ重要か・誰に関係するか

この発表が重要なのは、現在の主流である Loop Transformer の理論的限界を明確に指摘し、Q、K、V を分離制御する次世代アーキテクチャへの道筋を示すからだ。これは AI 研究者やモデル開発者にとって、既存の手法の限界を理解し、より効率的な再帰的学習機構の実装を検討する上で重要な指針となる。