#llmアーキテクチャのAIニュース

2件の記事

ParaRNN：並列学習可能な大規模非線形RNN

アップル研究所は、RNNの並列学習手法「ParaRNN」を開発し、数十億パラメータ規模の大規模RNN学習を初めて可能にした。これにより推論効率の高いモデル設計の選択肢が広がった。

AI2は7Bパラメータの完全オープンモデル「Olmo Hybrid」を発表した。トランスフォーマーの注意機構と線形RNN層を融合し、純粋なトランスフォーマーモデル相比、表現力とデータ・計算効率を大幅に向上させた。