The Big LLM Architecture Comparison｜大規模言語モデル（LLM）アーキテクチャの比較

大規模言語モデル（LLM）アーキテクチャ比較 DeepSeek V3からGLM-5へ：現代LLMアーキテクチャ設計を概観 ![](https://substackcdn.com/image/fetch/$s_!CfW_!,w_36,h_36,c_fill,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F61f4c017-506f-4e9b-a24f-76340dad0309_800x800.jpeg) Sebastian Raschka, PhD2025年7月19日1,79086161共有最終更新日：2026年2月25日（2月の最近リリースを下部に追加） オリジナルのGPTアーキテクチャが開発されてから7年が経過しました。GPT-2（2019年）を振り返り、DeepSeek V3やLlama 4（2024-2025年）を見渡すと、一見して、これらのモデルが依然として構造的に非常に類似していることに驚かれるかもしれません。 確かに、位置埋め込みは絶対位置から回転位置（RoPE）へ進化し、マルチヘッドアテンションはグループ化クエリアテンションに大きく取って代わられ、より効率的なSwiGLUがGELUなどの活性化関数に置き換わりました。しかし、これらの些細な改良の下で、私たちは本当に画期的な変化を目にしているのでしょうか、それとも単に同じアーキテクチャの基盤を磨き上げているだけなのでしょうか？ LLMを比較して、その良好な（あるいはそれほど良くない）性能に寄与する主要な要素を特定することは、非常に困難であることで知られています：データセット、トレーニング技術、ハイパーパラメータは大きく異なり、しばしば十分に文書化されていません。 しかし、2025年のLLM開発者が何をしているのかを見るために、アーキテクチャ自体の構造的変化を検討することには、依然として多くの価値があると考えています。（その一部を以下の図1に示します。） ![](https://substackcdn.com/image/fetch/$s_!iCn-!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4ae4aa85-3e22-486c-9bd9-27edc4acbf8b_3000x2093.png) 図1：本記事で取り上げるアーキテクチャの一部。 したがって、本記事では、ベンチマーク性能やトレーニングアルゴリズムについて書くのではなく、今日の旗艦オープンモデルを定義するアーキテクチャの発展に焦点を当てます。 （ご記憶かもしれませんが、私はつい最近マルチモーダルLLMについて書きました；本記事では、最近のモデルのテキスト能力に焦点を当て、マルチモーダル能力の議論は別の機会に譲ります。） ヒント：これはかなり包括的な記事ですので、ナビゲーションバーを使用して目次にアクセスすることをお勧めします（Substackページの左側にカーソルを合わせるだけです）。 オプション：以下のビデオは、本記事のナレーション付き要約版です。 1. DeepSeek V3/R1 おそらくすでに何度も耳にしているように、DeepSeek R1は2025年1月にリリースされた際、大きな衝撃を与えました。DeepSeek R1は、2024年12月に導入されたDeepSeek V3アーキテクチャを基盤に構築された推論モデルです。 ここでの焦点は2025年にリリースされたアーキテクチャですが、DeepSeek V3が広く注目され、採用されるようになったのは2025年のDeepSeek R1の立ち上げ後であるため、DeepSeek V3を含めるのは妥当だと考えます。 特にDeepSeek R1のトレーニングに興味がある方は、今年初めに書いた私の記事も参考になるかもしれません： ![](https://substackcdn.com/image/fetch/$s_!QwUc!,w_140,h_140,c_fill,f_auto,q_auto:good,fl_progressive:steep,g_auto/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd6ebc5c9-461f-4d3a-889b-b8ea4e14e5ba_1600x830.png) 推論LLMを理解する このセクションでは、DeepSeek V3で導入された、計算効率を向上させ、他の多くのLLMと区別する2つの主要なアーキテクチャ技術に焦点を当てます： マルチヘッド潜在アテンション（MLA） エキスパートの混合（MoE） 1.1 マルチヘッド潜在アテンション（MLA） マルチヘッド潜在アテンション（MLA）について議論する前に、その使用動機を説明するために、いくつかの背景を簡単に振り返りましょう。そのために、近年、マルチヘッドアテンション（MHA）に対するより計算効率とパラメータ効率の高い代替として新たな標準となっているグループ化クエリアテンション（GQA）から始めましょう。 では、簡単なGQAの概要です。MHAでは各ヘッドが独自のキーと値のセットを持つのに対し、メモリ使用量を削減するために、GQAは複数のヘッドをグループ化して同じキーと値の射影を共有します。 例えば、以下の図2でさらに示されているように、2つのキー・バリューグループと4つのアテンションヘッドがある場合、ヘッド1と2が1組のキーと値を共有し、ヘッド3と4が別の組を共有するかもしれません。これにより、キーと値の計算の総数が減り、メモリ使用量の削減と効率の向上につながります（アブレーション研究によれば、モデリング性能に顕著な影響を与えずに）。 ![](https://substackcdn.com/image/fetch/$s_!uVhV!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F647caf83-cd3d-46f8-8bd0-0946bd896ea1_1023x474.png) 図2：MHAとGQAの比較。ここでは、グループサイズは2で、キーと値のペアが2つのクエリ間で共有されています。 したがって、GQAの核心となる考え方は、複数のクエリヘッド間でキーと値を共有することで、キーと値のヘッドの数を減らすことです。これにより、（1）モデルのパラメータ数が減り、（2）推論時にKVキャッシュから保存・取得する必要のあるキーと値が少なくなるため、キーと値のテンソルに対するメモリ帯域幅の使用量が削減されます。 （GQAがコードでどのように見えるか興味がある方は、KVキャッシュなしのバージョンについては私のGPT-2からLlama 3への変換ガイドを、KVキャッシュありのバリアントについてはこちらをご覧ください。） GQAは主にMHAに対する計算効率の回避策ですが、アブレーション研究（元のGQA論文やLlama 2論文など）は、LLMのモデリング性能において標準的なMHAと同等に機能することを示しています。 さて、マルチヘッド潜在アテンション（MLA）は、特にKVキャッシュとうまく組み合わさる、異なるメモリ節約戦略を提供します。GQAのようにキーと値のヘッドを共有する代わりに、MLAはキーと値のテンソルを低次元空間に圧縮してからKVキャッシュに格納します。 推論時には、これらの圧縮されたテンソルは、以下の図3に示すように、使用される前に元のサイズに射影し戻されます。これにより追加の行列乗算が発生しますが、メモリ使用量は削減されます。 ![](https://substackcdn.com/image/fetch/$s_!jagJ!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Feb9a75be-2848-4b99-af3d-4c48bdd0181a_1550x858.png) 図3：MLA（DeepSeek V3およびR1で使用）と通常のMHAの比較。 （余談ですが、クエリも圧縮されますが、それはトレーニング時のみで、推論時には圧縮されません。） ちなみに、MLAはDeepSeek V3で新しく登場したものではなく、その前身であるDeepSeek-V2でも使用され（そして導入さえされ）ました。また、V2の論文には、DeepSeekチームがGQAではなくMLAを選択した理由を説明するかもしれない、いくつかの興味深いアブレーション研究が含まれています（以下の図4を参照）。 ![](https://substackcdn.com/image/fetch/$s_!efDX!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F2b7e646a-16c1-4245-9a3f-55a41f3070c2_903x856.png) 図4：DeepSeek-V2論文からの注釈付き表、https://arxiv.org/abs/2405.04434 上の図4に示されているように、GQAはMHAよりも性能が悪いように見えますが、MLAはMHAよりも優れたモデリング性能を提供しており、おそらくこれがDeepSeekチームがGQAではなくMLAを選択した理由でしょう。（MLAとGQAの間の「トークンあたりのKVキャッシュ」節約の比較も見てみたかったです！） 次のアーキテクチャ構成要素に進む前にこのセクションをまとめると、MLAはKVキャッシュのメモリ使用量を削減する巧妙なトリックであり、モデリング性能の点ではMHAよりもわずかに優れていると言えます。 1.2 エキスパートの混合（MoE） DeepSeekで強調に値するもう一つの主要なアーキテクチャ構成要素は、エキスパートの混合（MoE）層の使用です。DeepSeekがMoEを発明したわけではありませんが、MoEは今年復活を遂げており、後で取り上げる多くのアーキテクチャもそれを採用しています。 MoEにはすでに精通されているかもしれませんが、簡単に復習しておくと役立つでしょう。 MoEの核心となる考え方は、各フィード

大規模言語モデル（LLM）アーキテクチャの比較

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト