#ハイブリッドモデル のAIニュース

Olmo Hybridの発表：トランスフォーマーと線形RNNを組み合わせ、優れたスケーリングを実現

AI2は7Bパラメータの完全オープンモデル「Olmo Hybrid」を発表した。トランスフォーマーの注意機構と線形RNN層を融合し、純粋なトランスフォーマーモデル相比、表現力とデータ・計算効率を大幅に向上させた。