Olmo Hybridと将来のLLMアーキテクチャ

いわゆるハイブリッドアーキテクチャは、最近のオープンウェイトモデルにおいて全く新しいものではありません。現在では、Qwen 3.5（Qwen3-Next によってプレビュー）、昨秋に発表された Kimi Linear（フラッグシップである Kimi K2 モデルよりも小規模なリリース）、Nvidia の Nemotron 3 Nano（より大規模なモデルはまもなく登場予定）、IBM Granite 4、そしてその他の目立たないモデルなどが存在します。これは研究トレンドがまるで同時にあらゆる場所で採用され始めているかのような時期の一つです（もしかすると Muon オプティマイザーもすぐにそうなるかもしれません）。

この物語を語るには、2023 年 12 月まで数年前に遡る必要があります。その時、Mamba と Striped Hyena が世界を席巻し、モデルにおいて完全なアテンション（attention）が必要なのかという問いを投げかけていました。これらの初期モデルは、今日でも難しい理由と同じく、実装の難しさやオープンソースツールの問題、トレーニングにおけるさらなる頭痛の種によって消え去りました。さらに、スケールアップした際にモデルが少し崩れてしまったことも原因です。当時のハイブリッドモデルはまだ十分ではありませんでした。

これらのモデルは、従来のトランスフォーマーを有名にしたアテンション（注意機構）と、新しい再帰型ニューラルネットワーク（RNN）モジュールを組み合わせているため、「ハイブリッド」と呼ばれています。これらすべてのモデルは、このモジュールの組み合わせにおいて最も高い性能を発揮します。RNN レイヤーは、計算の一部を隠れ状態に圧縮して保持し、次のトークンの予測に利用します。これは、それまでに現れたすべての情報の要約であり、深層学習においては非常に長い歴史的背景を持つ考え方です（例：LSTM）。この構成により、アテンションの二次的な計算コスト（つまり、アテンション演算子の各トークンごとに KV キャッシュを漸次的に拡張する必要性）を回避でき、新たな問題の解決にも寄与します。

本記事で最初に紹介されるモデルは、RNN のアプローチを組み合わせています。一部のモデル（Qwen および Kimi）は、Gated DeltaNet (GDN) という新しいアイデアを採用しており、他の一部では依然として Mamba レイヤーが使用されています（Granite および Nemotron）。本日公開する Olmo Hybrid モデルも、注意機構や Mamba レイヤーでは学習できない特徴を GDN が習得できるという理論と、慎重な実験に基づき、GDN の側を採用しています。

Olmo Hybrid とその事前トレーニングの効率性の紹介

Olmo Hybrid は 7B ベースモデルであり、3 つの実験用ポストトレーニングチェックポイントがリリースされています。まずはインストラクションモデルから始まり、推論モデルも近日公開予定です。これはハイブリッドモデルを研究するための最良のオープンアーティファクトです。なぜなら、昨秋に発表した Olmo 3 7B モデルとほぼ同一であり、アーキテクチャのみが変更されているからです。このモデルとともに、ハイブリッドモデルが標準的なトランスフォーマーよりも優れる理由に関する実質的な理論を記した論文も公開します。これは非常に長い論文で、私自身もまだ読み進めている最中ですが、内容は素晴らしいものです。

論文はここでお読みいただけますし、チェックポイントについてはこちらで試すことができます。これはウィル・メリルが率いる、信じられないほど壮大な長期的研究プロジェクトです。彼の功績は素晴らしいものがありました。

なぜハイブリッドモデルがトランスフォーマーに対する厳密なアップグレードとなり得るのか、その文脈を理解するために、論文のイントロダクションからの長い抜粋を紹介しましょう（強調部分は私によるものです）：

過去の理論的研究では、アテンションと再帰には相補的な強みがあることが示されています（Merrill et al., 2024; Grazzi et al., 2025）。したがって、これらを組み合わせることは、両方のプリミティブの利点を備えたアーキテクチャを構築する自然な方法です。さらに、ハイブリッドモデルは単なる部分の合計よりもさらに強力であることを示す新たな理論的結果を導き出しました：コード評価に関連する形式問題の中には、トランスフォーマーでも GDN（Generalized Dynamic Networks）でも単独では表現できないが、ハイブリッドモデルであれば理論的に表現可能であり、経験的にも学習できるものが存在します。しかし、この高い表現力が即座にハイブリッドモデルがより優れた言語モデルであることを意味するわけではありません。そこで、ハイブリッドモデルとトランスフォーマーを比較した完全に制御されたスケーリング研究を実行し、厳密に検証しました。その結果、ハイブリッドモデルの表現力はトークン効率の向上につながることが示され、Olmo Hybrid の事前学習ランニングで得られた観察結果とも一致しています。最後に、言語モデリング目的のマルチタスク性質に基づき、アーキテクチャの表現力を高めることがなぜ言語モデルのスケーリングを改善すべきかという理論的な説明を提供します。

以上の結果を総合すると、ハイブリッドモデルは、表現力と並列性のバランスにおいて理論的に優れ、ベンチマーク性能や長文コンテキスト能力において経験的にもトランスフォーマーを上回ることが示唆されます。これらの知見がハイブリッドモデルのより広範な採用に向けた位置づけを提供し、研究コミュニティに対してさらなるアーキテクチャ研究を推進することを呼びかけます。

本稿では、主に以下の点を示し、論じています。

ハイブリッドモデルはより表現力に富んでいます。これにより、出力を形成してより多様な関数を学習することが可能になります。これがなぜ有益なのかという直感的な理由は次のように説明できます。表現力の高いモデルは深層学習において優れており、モデルクラスを可能な限り柔軟にし、制約ではなく最適化器に任せることで学習者への制限を減らすことが望まれるからです。これは「苦い教訓」と非常に似ています。

なぜ表現力の高さが効率性に寄与するのか？ここがより微妙な点です。我々は、表現力の高いモデルはニューラルスケーリングの量子化モデルに従って、より優れたスケーリング法則を示すと論じます。

これらの理論的検討は深掘りするための素晴らしい方法ですが、率直に言って私自身もまだ学ぶべきことが多くあります。しかし、最も重要なのは、この理論を裏付ける明確な実験へと移行した点です。特に、このモデルを設計するためのスケーリング法則は慎重に研究され、最終的なハイブリッドアーキテクチャの決定に役立てられました。最終性能は、どの RNN ブロックを使用するか、またその数量が正確に何であるかに非常に敏感です。

スケーリング実験の結果では、Olmo において、ハイブリッド GDN（層比 3:1）> プア GDN（RNN 層のみ）> 標準トランスフォーマー（アテンションのみ）> ハイブリッド Mamba2 > プア Mamba2 という順序で性能が示されました。重要な点は、パラメータ数と計算リソースを増やしてスケーリングしても、これらの差が維持されたことです。以下に、研究対象となった異なるアーキテクチャタイプの視覚的サマリーを示します。

この特定のモデルに関しては、事前学習による効果は非常に大きかったです！Olmo 3 の密集型モデルと比較すると、トレーニング効率において約 2 倍の向上が見られました。事前学習の評価性能を見ると、特に長文コンテキスト拡張後（論文の Table 2 の最終 2 行で以下にハイライトされています）にパフォーマンスが大幅に改善されました。

Olmo Hybrid のポストトレーニングへの道のり

Olmo モデルのポストトレーニングにおける経験のほとんどは、アーキテクチャにわずかな調整を加えながら、ベースモデルの能力を急激に向上させる曲線に沿って進んできました。Tulu 2、Tulu 3、および Olmo 3 の推論作業（OpenThoughts 3 を大幅に拡張した内容）からのレシピは、すべて比較的単純で、市販品のようにそのまま使える方法で機能しました。Olmo Hybrid は、ポストトレーニングにおいて本質的に異なるアーキテクチャを扱う初めての経験であり、その結果は賛否両半でした。

1. ベンチマーク性能

Olmo 3 のレシピに従った結果、稠密モデルと比較して知識面では大きな成果を得る一方で、推論の拡張性においては大きな損失を被りました。これらを総合すると依然として非常に強力な完全オープンモデルですが、事前学習による向上が直感的に明確には現れていません。結果は以下の通りです。

これがなぜ起こるのかという正確な理由は研究課題です。私たちの最良の推測では、Olmo Hybrid のベースモデルは十分に異なる学生モデルであり、初期段階における私たちが使用するポストトレーニングデータの多くが、より強力な「教師」モデルから学習している（この手法である知識蒸留 [distillation] についての要約は最近 Interconnects で紹介されました）ためです。

コミュニティ内では、強力な教師モデルを構成する要素について多くの研究が行われています。一般的に、総合評価において最良のモデルが、必ずしも最良の教師モデルであるとは限りません。つまり、現在の評価スコアで最も優れたモデルから出力されたデータを用いて学習しても、新しいベースモデルのパフォーマンス上限を引き上げることは難しいでしょう。

さらに探求が進んでいない第二の要因として、異なるベースモデルにはそれぞれ異なる教師モデルが必要となる可能性があります。これが、Olmo Hybrid が極めて異なるパフォーマンスを示す理由です。これはアーキテクチャに基づく学習変化に起因する下流の動作であり、事前学習データはほぼ同一であるにもかかわらずです。

ここを掘り下げるためには、より良質なデータの生成に関する実証的な研究や、異なるトレーニング段階がどのように連携するかを理解するためのさらなる作業が必要です。私はこの Olmo Hybrid ベースモデルが堅牢であると確信しており、さらに性能を引き出す余地があると考えていますが、既存のデータセットを適応させるには、より慎重な作業が必要となります。

1. オープンソースツールリング

オープンモデルにおける新アーキテクチャの率直な現実は、オープンソースソフトウェアのツールリングサポートが極めて不十分であるという点です。人々がよく知る紙一重の問題、例えば GPT-OSS で経験されたような人気ライブラリ内のランダムエラーによる採用の遅延などがありますが、それよりも深い問題が存在します。

ハイブリッドモデルの潜在的な利点の大部分は、長期コンテキスト生成におけるメモリ使用量の削減にあり、これは強化学習やエージェントタスクにとって極めて重要です。ポストトレーニングにおいては大きな勝利となるはずです。しかし残念ながら、現状はほど遠く、このバッチの GDN モデルに対してこれを正しく実装するにはさらに 3〜6 ヶ月を要する見込みです。

核心的な問題は、オープンソース推論ツール（例：VLLM）が、標準的なトランスフォーマーと比較して、はるかに未熟なカーネル（およびその他の内部機構）に依存している点にあります。これには 2 つの課題が伴います——スループットの低下と数値的な問題です。数値的な問題は、さまざまな推論フラグで対処可能です。論文からの引用を再度示します：

ポストトレーニングモデルで最大のパフォーマンスを得るために VLLM で必要だった 2 つの主要なフラグは、--disable-cascade-attn（共有プロンプトプレフィックス向けの最適化であるカスケードアテンションを無効化する）と --enforce-eager（CUDA グラフをオフにする）です。これら 2 つのフラグは、Olmo 3 に遡る当社の RL セットアップで使用されてきましたが、評価においては新規追加項目となります。これらのフラグなしでは、公開されたモデルのスコアが劇的に低下します。また、NVIDIA の推奨に従い --mamba_ssm_cache_dtype を使用して、より豊富な FP32 データ型でハイブリッドモデルキャッシュを備えた最終モデルも評価しました。

本質的には、これらを使用してモデルの数値的安定性を確保しました。その代償として、推論スループットが急落するため、計算効率における潜在的な利点がすべて相殺されてしまいます。数値比較は以下の通りです。

このためのデータはここで入手可能です。

実際、現在の 7B ハイブリッドモデルは、RL（強化学習）でトレーニングする際に、GQA（グループ化クエリアテンション：共通のメモリ節約技術を持たない）さえ備えていない当社の 7B デンストランスフォーマーモデルよりも多くの計算資源を必要とします。異なるコンテキスト長における表からの総計算量推計は以下の通りです（詳細な視覚資料は、私の最近の CMU での講演のスライドにあります）。

朗報は、これらは解決可能な問題だということです。ツールリングの改善がベンチマーク数値の向上にもつながる可能性がありますが、オープンソースコミュニティにおいて相当な時間と地道な努力が必要になるでしょう。

これが私の最後の質問です。アーキテクチャのより優れた基本的なスケーラビリティを原動力とし、すでにこれを利用している主要なオープンモデルビルダーの大規模クラスが存在することを根拠に、オープンエコシステムがこれらのモデルを容易にサポートするよう進化することに楽観的であるなら、GPT や Claude といったクローズドモデルも同様にこのように構築されているのでしょうか？

念のため申し上げますと、この回答は私の完全なる推測です（通常は行わないことですが）、私が持っている証拠に基づけば、3 つの最先端モデルのうちいずれかが RNN である確率は、コインを投げたようなものだと考えられます。どちらの結果であれ確定した情報を得れば、改めてお知らせいたします。スケーリング上の利点が最先端規模でも維持されるのであれば、経済的な合理性は無視できなくなるでしょうが、すでに RNN のように効率的でありながら、さらに多くのメリットを持つアーキテクチャを備えている可能性もあります。

本投稿に続き、特に Mixture of Expert (MoE) モデルがポストトレーニングにおいてなぜ大きな頭痛の種となるのかについて、より詳細なアーキテクチャに関する議論を行いたいと思います。もしこの話題に興味をお持ちであれば、ぜひ購読してください！

今すぐ購読する

本稿の内容形成に有益な議論をしてくださった Will Merrill 氏と Finbarr Timbers 氏に感謝いたします。

1. 私が YouTube で行ったインタビューの中で最も視聴回数の多いもの（私が初めて行ったインタビューです）。