ハイブリッドモデルはどのトークンをより正確に予測するか？

モデルはどのような種類のトークンをよく予測し、またどの種類を予測できないのでしょうか？この問いは特にハイブリッドモデルにおいて興味深く、標準的なトランスフォーマーに挑戦し始めた言語モデルアーキテクチャであり、私たちは [Olmo Hybrid](https://allenai.org/blog/olmohybrid) とともに調査を進めています。ハイブリッドモデルは標準ベンチマークではトランスフォーマーと同等かそれ以上の性能を発揮しますが、主要な数値だけでは、ハイブリッドモデルがトランスフォーマーに対して持つ具体的な優位性についてはあまり明らかになりません。 これらのトークンレベルの振る舞いについて光を当てるため、私たちは最近、最も強力な 7B トランスフォーマーである [Olmo 3](https://allenai.org/blog/olmo3) とハイブリッドモデルである Olmo Hybrid を直接比較する実験を行いました。具体的には、LLM（大規模言語モデル）への入力として現れる情報の単位である異なる種類のトークンにわたって、モデルの予測における違いを微細な粒度で比較します。Olmo 3 と Olmo Hybrid は、アーキテクチャ以外の部分では可能な限り同じになるように設計されており、データ、トークナイザー、トレーニングレシピが密接にマッチングしているため、両者の予測の違いは主にアーキテクチャそのものによるものです。これらの違いをトークンレベルで観察することで、ハイブリッドモデルがトランスフォーマーに対して持つ具体的な強みについて洞察を得ることができます。 [Our results](https://arxiv.org/abs/2606.20936) show that the hybrid's advantage is real across many tokens—but not all. Olmo Hybrid is strongest on tokens that carry meaning, such as nouns, verbs, and adjectives, and on tokens that can only be predicted by following what's going on—like which person a pronoun refers to. But the hybrid's advantage almost disappears on tokens that simply repeat something already in the input – a word or phrase reproduced verbatim from earlier – where the answer is sitting right there to be looked up. That’s where the transformer's strength lies. ## Attention versus recurrence—and measuring the difference A language model is built from a stack of repeated layers, each one refining its representation of every token using the tokens around it. A transformer uses attention in every layer—the model can draw directly on every earlier token at once, weighing how relevant each is to the current prediction. That makes attention good at recalling a specific earlier token exactly even when that token appeared far back in the input. The catch is that every token is compared against all the earlier ones, so attention's cost climbs steeply as the input grows. Additionally, while attention is strong at recalling and aggregating information, it also struggles to represent information that evolves sequentially over time. ハイブリッドモデルは、いくつかの注意層（attention layers）を保持しつつ、残りを再帰的層（recurrent layers）に置き換えます。注意層とは異なり、再帰的層は左から右へとトークンを読み込み、固定サイズのメモリを保持します。新しいトークンが入力されるたびにそれをメモリに折りたたむことで、入力長がどれだけ長くても各トークンの処理コストは一定のまま保たれます。このメモリは圧縮されており、情報損失を伴うため、再帰的層は注意層のように正確な過去のトークンを参照することはできません。しかし、モデルがトークンを読み進めるにつれて変化する事柄の継続的な記録には非常に適しており、注意層に対する補完的な強みを提供します。 注意層と再帰的層それぞれの強みと弱みを明確に分離するために、Olmo 3 と Olmo Hybrid にテキストの断片（記事、ウィキペディアのエントリ、書籍、科学論文）および Python、HTML、LaTeX などの構造化テキストを入力し、各モデルが与えられたサンプル内で先行するトークンから次のトークンをどれだけ正確に予測できるかを評価しました。両モデルは同じ先行トークンを見ており、あり得るすべての次のトークンに対して確率を割り当てています。実際に次に現れたトークンに対して各モデルが付けた確率を記録しました。その後、2 つのモデル間の損失差（loss gap）、つまり両モデルの損失値の差を計算することで、トークン単位で 2 つのモデルの違いを要約します。正のギャップはハイブリッドモデルが実際の次のトークンをよりよく予測したことを意味し、負のギャップはトランスフォーマーモデルの方が優れていたことを示します。 損失ギャップがどこに集中する可能性があるかを見つけるために、私たちはいくつかの分析を行いました。まず、各トークンをカテゴリに分類し、これらのカテゴリ内での損失ギャップを平均化しました。生の平均値は、カテゴリの希少性やテキストサンプル内のトークンの繰り返し頻度などの他の要因によって歪められる可能性があるため、他の要因を一定に保ちながらカテゴリ自体の影響を推定する回帰分析を用いて各パターンを再確認しました。 ## 実際のテキストが示すもの Olmo Hybrid は、ほとんどの種類のトークンにおいて Olmo 3 よりも低い損失を示しますが、その差は種類によって同じではありません。 散文においては、意味を持つ名詞、動詞、形容詞などの内容語（content words）と、「the」「of」「is」などの機能語（function words）との間に明確な隔たりが見られます。ハイブリッドモデルは、トランスフォーマーよりも内容語をよりよく予測し、その損失ギャップは約 0.04 です。一方、機能語におけるギャップは約 0.02 と小さくなります。特に副詞や形容詞といった内容語のカテゴリでは、ハイブリッドモデルの優位性が顕著ですが、「there」のような存在を表す機能語のカテゴリでも、ハイブリッドモデルに大きな利点が見られます。要するに、ハイブリッドモデルの優位性は、文が何について述べているかを伝える単語において最も大きく、構文からほぼ推測できる文法用語においては最小となります。 対照的に、ハイブリッドモデルの優位性がトランスフォーマーに対して消失する特定の文脈をいくつか発見しました。その一つは、括弧の閉じ方であり、開き方は含まれません。このパターンは、言語、コード、マークアップにおけるあらゆる括弧タイプにわたって頑健です。なぜでしょうか？アテンション機構が括弧の対応関係を表現するのに十分であることは知られており、これはアテンションのみで括弧の閉じ方の予測も可能であることを示唆しています。 ハイブリッドモデルの優位性がほぼ消失するもう一つの場所は、次のトークンがすでにテキスト内に存在するものを単に繰り返す場合です。これらのケースは、繰り返し n-gram（シーケンスを完了させるトークンが、同じテキスト内で以前にそのまま現れている連続したテキストの塊）を検出することで特定できます。繰り返される連続部分が長いほど、ハイブリッドモデルのリードは小さくなり、最終的にはゼロに近づきます。 最後に、これらの知見に触発され、特定の種類のトークンに対するフィルタリングされた損失を評価指標として用いることで、事前学習実験における異なるアーキテクチャをより適切に比較できるか探索しました。私たちは以前の Olmo Hybrid 研究で用いたパラメータ数 10 億のモデル 3 つ、すなわちトランスフォーマー、ハイブリッド型、そして注意機構を全く持たない純粋なリカレントモデルを使用しました。意味を持つ繰り返しでないトークンにおいては、ハイブリッド型と純粋なリカレントモデルがトランスフォーマーを上回り、その中でハイブリッド型が最も優れた性能を示しました。一方、繰り返されるトークンにおいては、コピー元を参照するための注意機構を持たない純粋なリカレントモデルは、ハイブリッド型およびトランスフォーマーの両方に後れをとりました。したがって、これらのフィルタリングされたトークン損失は、トレーニング初期段階において、アーキテクチャ間の微細な差異（例えば、コピー能力や内容語における違いなど）を、それでは見ることができない形で明らかにします。 ## ここまでの結論 この研究から得られる教訓は二つあります。第一に、モデル全体の平均誤差である単一の全体損失（loss）では、トランスフォーマーとハイブリッドアーキテクチャを比較するにはあまりにも粗すぎます。特定のモデル能力を検証するトークンにのみ損失スコアリングを適用することで、重要な違いが浮き彫りになります。第二に、特にハイブリッドモデルにおいては、オープンクラス（open-class）のトークンにおいて特定のアプローチによる優位性の証拠が見つかりました。これはおそらく RNN レイヤーの状態追跡能力に関連していると考えられます。次のステップとして、これらの知見を現在進行中のハイブリッドモデリング研究に反映させていきます。各コンポーネントがどのトークンで得意とするかを一つずつ理解することから、最適なハイブリッドアーキテクチャが生まれると私たちは信じています。そして、このような研究が AI コミュニティ全体の理解の深化に寄与することを願っています。 [完全なレポート](https://arxiv.org/abs/2606.20936)をお読みいただき、[Olmo 3](https://allenai.org/blog/olmo3)、[Olmo Hybrid](https://allenai.org/blog/olmohybrid)、および関連するオープンアーティファクトをぜひ探索してください。 ## Ai2 の最新ニュースに関する月次アップデートを受け取るには購読してください。

ハイブリッドモデルはどのトークンをより正確に予測するか？

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

関連記事

調べる

選ぶ

サイト