Beyond Standard LLMs｜標準的な大規模言語モデルを超えて

標準LLMを超えて 線形アテンション・ハイブリッド、テキスト拡散、コード世界モデル、小型再帰トランスフォーマー ![](https://substackcdn.com/image/fetch/$s_!CfW_!,w_36,h_36,c_fill,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F61f4c017-506f-4e9b-a24f-76340dad0309_800x800.jpeg) Sebastian Raschka, PhDNov 04, 20253612836ShareDeepSeek R1からMiniMax-M2まで、今日の最大かつ最も能力の高いオープンウェイトLLMは、依然としてオートリグレッシブ（自己回帰）デコーダー式トランスフォーマーであり、それは元のマルチヘッド・アテンション機構の派生形に基づいて構築されています。 しかし、近年では標準的なLLMに代わるアプローチも出現しており、テキスト拡散モデルから最近の線形アテンション・ハイブリッドアーキテクチャまで様々です。それらの一部はより高い効率性を目指しており、コード世界モデルのようにモデリング性能の向上を目指すものもあります。 数ヶ月前に、主要なトランスフォーマーベースのLLMに焦点を当てた「ビッグLLMアーキテクチャ比較」を共有した後、これらの代替アプローチについて私がどう考えているか、多くの質問を受けました。（また、私は最近2025年PyTorchカンファレンスでこれについて短い講演を行い、参加者に対してこれらの代替アプローチについての記事をフォローアップすると約束しました）。さて、ここにそれがあります！ ![](https://substackcdn.com/image/fetch/$s_!gTFK!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fee4ebedc-268b-4bd4-ae4c-61e894f4b8d9_1137x574.png) 図1: LLMの状況の概要。この記事では、黒い枠で囲まれたアーキテクチャをカバーします。デコーダー式トランスフォーマーは私の「The Big Architecture Comparison」記事でカバーしています。枠で囲まれていない他のアーキテクチャは、将来の記事でカバーされるかもしれません。 なお、上図に示されている各トピックは、理想的にはそれぞれが少なくとも記事1本分に値する内容です（そして将来的にはそうなることを願っています）。ですから、この記事を適切な長さに保つために、多くのセクションはかなり短くなっています。しかし、近年出現したすべての興味深いLLMの代替案への入門として、この記事が依然として有用であることを願っています。 追記：前述のPyTorchカンファレンス講演は、公式PyTorch YouTubeチャンネルにアップロードされる予定です。それまでの間、興味があれば、下記に練習用の録画バージョンを見つけることができます。 （YouTube版もこちらにあります。） 1. トランスフォーマーベースのLLM 古典的な「Attention Is All You Need」アーキテクチャに基づくトランスフォーマーベースのLLMは、テキストとコードの両方において依然として最先端です。2024年後半から今日までのハイライトだけを考慮すると、注目すべきモデルには以下が含まれます： Mistral Small 3.1 （上記のリストはオープンウェイトモデルに焦点を当てています；GPT-5、Grok 4、Gemini 2.5などのプロプライエタリモデルもこのカテゴリーに該当します。） ![](https://substackcdn.com/image/fetch/$s_!HSi2!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc589dd95-6a69-4629-8775-93294f5f670b_1136x577.png) 図2: 過去1年間にリリースされた最も注目すべきデコーダー式トランスフォーマーの概要。 トランスフォーマーベースのLLMについては何度も話し、書いてきたので、大まかな考え方とアーキテクチャには親しんでいるものと想定します。より深いカバレッジをご希望の場合は、上記リスト（および下図に示す）のアーキテクチャを私の「The Big LLM Architecture Comparison」記事で比較しています。 （補足：概要図ではQwen3-NextとKimi Linearを他のトランスフォーマー状態空間モデル（SSM）ハイブリッドと一緒にグループ化することもできたでしょう。個人的には、これらの他のトランスフォーマー-SSMハイブリッドを、トランスフォーマーコンポーネントを持つSSMと見なし、ここで議論するモデル（Qwen3-NextとKimi Linear）をSSMコンポーネントを持つトランスフォーマーと見なしています。しかし、IBM Granite 4.0とNVIDIA Nemotron Nano 2をトランスフォーマー-SSMボックスにリストしているので、それらを単一カテゴリーにまとめる議論も可能かもしれません。） ![](https://substackcdn.com/image/fetch/$s_!dEOx!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F184d4826-1891-4b7f-b7f5-5e59884fea3d_1600x1107.png) 図3. 私の「The Big Architecture Comparison」（https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison）記事で議論されたアーキテクチャの一部。 もしあなたがLLMを扱っている、あるいはLLMについて作業しているのであれば、例えばアプリケーションの構築、モデルのファインチューニング、新しいアルゴリズムの試行などにおいて、私はこれらのモデルを第一選択にするでしょう。それらはテスト済みで実証されており、よく機能します。 さらに、「The Big Architecture Comparison」記事で議論したように、グループ化クエリアテンション、スライディングウィンドウアテンション、マルチヘッド潜在アテンションなど、多くの効率化の改善があります。 しかし、研究者やエンジニアが代替案を試みる努力をしなかったら、それは退屈です（そして近視眼的です）。ですから、残りのセクションでは、近年出現したいくつかの興味深い代替案をカバーします。 2. （線形）アテンション・ハイブリッド より「異なる」アプローチを議論する前に、まず、より効率的なアテンション機構を採用したトランスフォーマーベースのLLMを見てみましょう。特に、入力トークン数に対して二次関数的ではなく線形的にスケールするものに焦点を当てます。 最近、LLMの効率を改善するための線形アテンション機構の復活がありました。 「Attention Is All You Need」論文（2017年）で導入されたアテンション機構、別名スケールドドットプロダクトアテンションは、今日のLLMにおいて依然として最も人気のあるアテンションの変種です。従来のマルチヘッドアテンションに加えて、私の講演で議論したグループ化クエリアテンション、スライディングウィンドウアテンション、マルチヘッド潜在アテンションなどのより効率的な派生形でも使用されています。 2.1 従来のアテンションと二次コスト 元のアテンション機構は、シーケンス長に対して二次関数的にスケールします： これは、クエリ（Q）、キー（K）、値（V）がn×d行列であるためです。ここで、dは埋め込み次元（ハイパーパラメータ）、nはシーケンス長（つまりトークン数）です。 （詳細は私の「Understanding and Coding Self-Attention, Multi-Head Attention, Causal-Attention, and Cross-Attention in LLMs」記事で見つけることができます） ![](https://substackcdn.com/image/fetch/$s_!Eihw!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F911104df-2916-4ab7-a64a-afc4aee26400_1845x2009.png) 図4: マルチヘッドアテンションにおける従来のスケールドドットプロダクトアテンション機構の図解；シーケンス長nによるアテンションの二次コスト。 2.2 線形アテンション 線形アテンションの変種は長い間存在しており、2020年代に大量の論文を見たのを覚えています。例えば、私が思い出す最も初期のものの一つは、2020年の「Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention」論文で、研究者たちはアテンション機構を近似しました： ここで、ϕ(⋅)はカーネル特徴関数で、ϕ(x) = elu(x)+1に設定されます。 この近似は、n×nアテンション行列QKTを明示的に計算することを避けるため効率的です。 これらの古い試みについてあまり長く立ち入りたくはありません。しかし要点は、それらが時間とメモリの複雑さをO(n2)からO(n)に減らし、長いシーケンスに対してアテンションをはるかに効率的にしたことです。 しかし、それらはモデルの精度を低下させたため、本当に広く受け入れられることはなく、これらの変種のいずれかがオープンウェイトの最先端LLMに適用されているのを実際に見たことはありません。 2.3 線形アテンションの復活 今年の後半には、線形アテンション変種の復活があり、また下図に示すように、一部のモデル開発者間で行き来も少しありました。 ![](https://substackcdn.com/image/fetch/$s_!wJGD!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4a7152e0-02e6-4d23-b356-7e9369ded9b2_970x398.png) 図5: の概要

標準的な大規模言語モデルを超えて

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト