独コンソーシアム、英独対応オープンAI「Soofi S」発表

記事の3ポイント

1. 1

   Soofi S モデルの概要と性能

   ドイツの研究コンソーシアムが発表したSoofi Sは、約316億パラメータを持つオープンな基礎モデルであり、完全オープンモデルの中で英語とドイツ語の集計スコアで最高記録を達成した。

2. 2

   ハイブリッドアーキテクチャの構成

   同モデルはMamba-2シーケンス混合層、Granular MoE層、GQA層を組み合わせた52層構造を採用し、1トークンあたり約32億パラメータを活性化して効率性を確保している。

3. 3

   学習データとトレーニング手法

   ドイツ語の割合を段階的に増加させる学習レシピに基づき、合計約26.68兆トークンを消費して事前学習を行い、最大100万トークンのコンテキストウィンドウを実現した。