GPT-2からgpt-ossへ：アーキテクチャの進化を分析

GPT-2からgpt-ossへ：アーキテクチャの進化を分析する そして、それらがQwen3とどう比べられるか ![](https://substackcdn.com/image/fetch/$s_!CfW_!,w_36,h_36,c_fill,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fbucketeer-e05bbc84-baa3-437e-9518-adb32be77984.s3.amazonaws.com%2Fpublic%2Fimages%2F61f4c017-506f-4e9b-a24f-76340dad0309_800x800.jpeg) Sebastian Raschka, PhDAug 09, 20256194755ShareOpenAIは今週、新しいオープンウェイトのLLM、gpt-oss-120bとgpt-oss-20bをリリースしました。これは2019年のGPT-2以来、初めてのオープンウェイトモデルです。そして、いくつかの巧妙な最適化のおかげで、ローカルで実行できるようになっています（これについては後ほど詳しく説明します）。 GPT-2以来、OpenAIが大規模で完全なオープンウェイトモデルを共有するのはこれが初めてです。初期のGPTモデルは、トランスフォーマーアーキテクチャがどのようにスケールするかを示しました。2022年のChatGPTのリリースは、文章作成や知識（そして後にコーディング）タスクにおける具体的な有用性を示すことで、これらのモデルを主流のものにしました。そして今、彼らは長らく待ち望まれていたウェイトモデルを共有し、そのアーキテクチャには興味深い詳細があります。 私は過去数日間、コードと技術レポートを読み込み、最も興味深い詳細をまとめました。（そのわずか数日後、OpenAIはGPT-5も発表しました。この記事の最後で、gpt-ossモデルの文脈の中で簡単に触れます。） 以下は、この記事でカバーする内容の簡単なプレビューです。より簡単にナビゲートするために、記事ページ左側の目次を使用することをお勧めします。 GPT-2とのモデルアーキテクチャ比較 単一GPUにgpt-ossモデルを収めるためのMXFP4最適化 幅と深さのトレードオフ（gpt-oss vs Qwen3） アテンションのバイアスとシンク ベンチマークとGPT-5との比較 お役に立てれば幸いです！ 1. モデルアーキテクチャ概要 アーキテクチャについてより詳細に議論する前に、まずは下記の図1に示す、2つのモデルgpt-oss-20bとgpt-oss-120bの概要から始めましょう。 ![](https://substackcdn.com/image/fetch/$s_!PKaP!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe804b20e-7196-4529-9ca1-13a946123c7c_1589x734.png) 図1：2つのgpt-ossモデルを並べて表示。 最近のLLMアーキテクチャ図を見たことがある方や、私の以前の「大規模アーキテクチャ比較」記事を読んだことがある方は、一見したところ目新しい点や珍しい点は何もないことに気づくかもしれません。 ![](https://substackcdn.com/image/fetch/$s_!83ox!,w_140,h_140,c_fill,f_auto,q_auto:good,fl_progressive:steep,g_auto/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd72e5a99-1a11-42b7-8831-8f5785ed2bc1_1600x1116.png) 大規模LLMアーキテクチャ比較 これは驚くべきことではありません。なぜなら、主要なLLM開発者は同じ基本アーキテクチャを使用し、その後、小さな調整を加える傾向があるからです。これは私の純粋な推測ですが、その理由は以下の通りだと考えています。 これらの研究所間では、従業員の大きな流動性がある。 トランスフォーマーアーキテクチャよりも優れたものを、我々はまだ見つけていない。状態空間モデルやテキスト拡散モデルは存在するが、私の知る限り、この規模でトランスフォーマーと同等の性能を発揮することを示した者はいない。（私が見つけた比較のほとんどは、ベンチマーク性能のみに焦点を当てている。現実世界のマルチターンの文章作成やコーディングタスクをモデルがどれだけうまく処理するかは、まだ不明である。執筆時点で、LM Arenaで最もランキングの高い、純粋なトランスフォーマーベースではないモデルは、トランスフォーマーと状態空間モデルのハイブリッドであるJambaで、96位である。編集：親切な読者から、より上位のハイブリッドモデルがあると指摘があった：Hunyuan-TurboSが22位。） 大きなアーキテクチャの変更よりも、データとアルゴリズムの調整から得られる利益の方が大きい可能性が高い。 とはいえ、彼らの設計選択にはまだ多くの興味深い側面があります。そのいくつかは上の図に示されています（一方で、示されていないものもありますが、それらについても後で議論します）。この記事の残りの部分では、これらの特徴を強調し、他のアーキテクチャと一つずつ比較していきます。 また、私はOpenAIとは何の関係もないことを付記しておきます。私の情報は、公開されたモデルコードをレビューし、彼らの技術レポートを読むことから得ています。これらのモデルをローカルで使用する方法を学びたい場合は、OpenAIの公式モデルハブページから始めるのが最善です： https://huggingface.co/openai/gpt-oss-20b https://huggingface.co/openai/gpt-oss-120b 20Bモデルは、最大16GBのRAMを搭載したコンシューマー向けGPUで実行できます。120Bモデルは、80GBのRAMを搭載した単一のH100またはそれより新しいハードウェアで実行できます。これについては後で戻りますが、重要な注意点があります。 2. GPT-2から来て gpt-ossとより最近のアーキテクチャとの比較に飛びつく前に、タイムマシンに乗って、GPT-2（図2）を並べて見てみましょう。どれほど進歩したかを確認するためです。 ![](https://substackcdn.com/image/fetch/$s_!-dhg!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fa8fb9d66-b650-441c-a2da-a0931fddb068_1425x769.png) 図2：gpt-oss-20bとGPT-2 XL 1.5Bの比較。 gpt-ossもGPT-2も、Attention Is All You Need（2017）論文で導入されたトランスフォーマーアーキテクチャを基にしたデコーダー専用LLMです。長年にわたり、多くの詳細が進化してきました。 しかし、これらの変更はgpt-ossに特有のものではありません。そして後で見るように、それらは他の多くのLLMにも現れます。これらの側面の多くは以前の「大規模アーキテクチャ比較」記事で議論したので、各サブセクションは簡潔に、焦点を絞って進めます。 2.1 ドロップアウトの除去 ドロップアウト（2012）は、訓練中に層の活性化やアテンションスコア（図3）の一部をランダムに「ドロップアウト」（つまりゼロに設定）することで過学習を防ぐ伝統的な技術です。しかし、ドロップアウトは現代のLLMではほとんど使用されておらず、GPT-2以降のほとんどのモデルでは（言葉遊びではありませんが）「落とされ」ました。 ![](https://substackcdn.com/image/fetch/$s_!BS-w!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fb25371fe-9ee0-4a65-a5aa-46f3bca4b349_845x850.png) 図3：アテンションスコア行列に適用されたドロップアウトの図。 ドロップアウトが元々GPT-2で使用されていたのは、元のトランスフォーマーアーキテクチャから継承されたためだと私は推測します。研究者たちは、それがLLMの性能を実際には改善しないことに気づいたのでしょう（私は小規模なGPT-2の再現実験でも同じことを観察しました）。これはおそらく、LLMは通常、大規模なデータセットに対してたった1エポックしか訓練されないのに対し、ドロップアウトが最初に導入されたのは数百エポックに及ぶ訓練体制だったためです。したがって、LLMは訓練中に各トークンを一度しか見ないため、過学習のリスクはほとんどありません。 興味深いことに、ドロップアウトはLLMアーキテクチャ設計において何年も無視されてきましたが、私は2025年の研究論文（小規模LLM実験、Pythia 1.4B）で、このような単一エポック体制ではドロップアウトが下流タスクの性能を悪化させることを確認したものを見つけました。 2.2 絶対的位置埋め込みに代わるRoPE トランスフォーマーベースのLLMでは、アテンションメカニズムのために位置エンコーディングが必要です。デフォルトでは、アテンションは入力トークンに順序がないかのように扱います。元のGPTアーキテクチャでは、絶対的位置埋め込みがこれに対処しました。シーケンス内の各位置に対して学習された埋め込みベクトル（図4）を追加し、それをトークン埋め込みに加算するという方法です。 ![](https://substackcdn.com/image/fetch/$s_!YCov!,w_1456,c_limit,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F62fdfc32-605c-4065-abc6-689756d53b87_1195x533.png) 図4：絶対的位置埋め込みの図。 RoPE（Rotary Position Embedding）は異なるアプローチを導入しました：位置情報を別個の埋め込みとして追加する代わりに、各トークンの位置に依存する方法でクエリとキーベクトルを回転させることで位置をエンコードします。（RoPEはエレガントなアイデアですが、説明するのが少し難しいトピックでもあります。私は…（続く）

GPT-2からgpt-ossへ：アーキテクチャの進化を分析

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト