独コンソーシアム、英独対応オープンAI「Soofi S」発表
ドイツの研究コンソーシアムが、英語とドイツ語に特化したハイブリッド Mamba-Transformer モデル「Soofi S」を公開し、既存のオープンベースモデルの中で最高スコアを記録した。
キーポイント
ハイブリッドアーキテクチャの実装
Mamba-2 シーケンスミxing レイヤーと MoE レイヤーを組み合わせた独自の構造を持ち、316 億パラメータのうち約 32 億を活性化して推論を行う。
ドイツ語特化のデータ戦略
学習データの構成比を段階的に調整し、非英語言語（特にドイツ語）の割合をフェーズ 1 の 7.2% からフェーズ 2 で 15.32% に引き上げることで性能を最大化した。
Nemotron 3 Nano ベースの設計
vLLM でのデプロイ容易性やサービス効率性を重視し、アーキテクチャは固定された Nemotron 3 Nano のリファレンスデザインを踏襲している。
100 万トークンのコンテキストウィンドウ
最終フェーズで超長文の学習を行い、最大 100 万トークンまでのコンテキストウィンドウに対応可能な基盤モデルとして完成させた。
ドイツ語データ強化とインフラの主権
Phase 2 で有効トークン中のドイツ語比率を7.2%から15.32%に引き上げ、HPLTやGeniosなどの商用ライセンス済み資料を活用し、512台のNVIDIA B200 GPUを用いて計算主権を維持した。
大規模モデルとの比較におけるドイツ語性能
Gemma 3やMinistralなどの同等・大規模オープンモデルと比較し、英語では同水準ながらドイツ語の集計スコア（79.1%）で両者を上回る結果を示した。
アーキテクチャ同一モデルとのデータ効果
同じアーキテクチャを持つ参照モデルと比較して、英語で+1.8点、ドイツ語で+4.2点、未学習データ（Held-out）の英語で+6.7点向上し、データレシピの効果が明確に示された。
重要な引用
Among some of the fully open base models tested, Soofi S records the highest English and German aggregate scores.
The network holds 52 layers: 23 Mamba-2 sequence-mixing layers, 23 granular MoE layers, and 6 Grouped-Query Attention (GQA) layers.
German is the deliberate variable. It rises from 7.2% of Phase 1 effective tokens to 15.32% in Phase 2.
Against its architecture-identical reference, Soofi S gains 1.8 points on the English aggregate. German gains 4.2, and held-out English 6.7.
Soofi S activates 3.2B of 31.6B parameters; only 6 of 52 layers hold a KV cache.
Decode measures 8–9× dense 14–24B models at 40K context, flat from 4K to 256K.
影響分析・編集コメントを表示
影響分析
このモデルの公開は、英語中心だったオープンソース LLM の市場において、ドイツ語圏における高性能なローカル言語モデルの選択肢を劇的に拡大するものです。特に Mamba-Transformer ハイブリッドアーキテクチャの実証と、100 万トークンという超長文コンテキストの実用化は、欧州発の AI インフラ競争力を示す重要なマイルストーンとなります。
編集コメント
ドイツ語圏の AI 研究が、単なる翻訳や小規模な言語モデルの域を超え、英語に匹敵する大規模基盤モデルで世界トップクラスのパフォーマンスを記録した点は極めて注目すべき成果です。特に Mamba アーキテクチャの実装と長文コンテキストの強化は、欧州発の AI 技術が独自の強みを確立しつつあることを示唆しています。
ドイツの研究コンソーシアムが、Soofi S 30B-A3B の事前学習レポートを公開しました。これはドイツ語と英語に対応するオープンな基盤モデルです。トレーニングはミュンヘンの Deutsche Telekom Industrial AI Cloud で一貫して実行されました。プレビュー用の重みは Hugging Face で利用可能です。注目すべき点は、テストされた完全オープンな基盤モデルの中で、Soofi S が英語とドイツ語の総合スコアで最高記録を達成していることです。
Soofi S 30B-A3B とは何か？
Soofi S は、Mamba と Transformer を組み合わせたハイブリッド型の Mixture-of-Experts (MoE) 基盤モデルです。パラメータ数は約 316 億個で、トークンあたりの活性化数は約 32 億個に抑えられています。ベースモデルとして、指令微調整やアライメント、安全性のチューニングは施されていません。このコンソーシアムは KI Bundesverband が統括し、ドイツ連邦経済省・エネルギー省から資金提供を受けています。参加機関には、Fraunhofer IAIS、DFKI、ダルムシュタット工科大学（TU Darmstadt）、ellamind、そして Merantix Momentum が含まれています。
アーキテクチャの仕組みは？
その効率性は、レイヤー構成に起因します。ネットワーク全体で 52 レイヤーから成り立っており、内訳は Mamba-2 シーケンス混合層が 23 層、粒度の高い MoE 層が 23 層、そしてグループ化クエリアテンション（GQA）層が 6 層です。KV キャッシュを保持するのは、この 6 層の GQA レイヤーのみです。各 MoE 層には 128 のルーティングされたエキスパートがあり、トークンあたり 6 つが活性化され、さらに 2 つの共有エキスパートが追加されます。その他の詳細設定として、モデル次元数は 2688、活性化関数に二乗 ReLU を採用し、RMSNorm を使用しています。また、位置埋め込みは用いていません。
Soofi S は、変更を加えずに Nemotron 3 Nano のリファレンス設計を採用しています。研究チームはこの選択に対し、vLLM などのスタック上での展開性、推論効率の向上、そして科学的な制御可能性という 3 つの理由を挙げています。
バックボーン（基幹部分）を固定したことで、Nemotron 3 Nano はアーキテクチャが同一のベースラインモデルとして機能します。実質的に変更されるのはデータレシピのみです。
#mtp-soofi-embed{margin:22px 0;}
#mtp-soofi-embed hr,#mtp-soofi-embed p:empty,#mtp-soofi-embed del,#mtp-soofi-embed s{display:none!important}
#mtp-soofi-frame{width:100%!important;border:0!important;display:block!important;background:#0E0E0E!important;border-radius:14px!important;overflow:hidden!important;color-scheme:dark!important}
@media(max-width:640px){#mtp-soofi-embed{margin:16px 0}}
(function(){
var f=document.getElementById('mtp-soofi-frame');
if(!f) return;
window.addEventListener('message',function(e){
if(e&&e.data&&typeof e.data.sfHeight==='number'&&e.data.sfHeight>200){
f.style.height=Math.round(e.data.sfHeight)+'px';
}
},false);
})();
学習レシピ：3 つのフェーズで約 26.68T トークンを消費
学習スケジュールは、マイナス平方根減衰セグメントを持つ「Warmup–Stable–Decay（WSD）」方式を採用しました。第 1 フェーズでは、多様で品質が階層化されたデータセットから約 20 トリリオントークンを処理し、学習率を 1e-3 で一定に保ちました。続く第 2 フェーズでは、高品質な減衰データを約 6.58 トリリオントークン消費します。この段階では学習率を 1e-3 から 1e-5 に低下させ、その後 1e-5 で一定に維持しました。最終的な第 3 フェーズでは、シーケンス長を 1,048,576 トークン（約 100 万トークン）に設定し、約 0.10 トリリオンのトークンを処理します。これにより、利用可能なコンテキストウィンドウが最大 100 万トークンまで拡張されました。
このモデルで意図的に調整された変数が「ドイツ語」です。第 1 フェーズの有効トークンにおける割合は 7.2% から、第 2 フェーズでは 15.32% に引き上げられました。参考となる Nemotron 3 Nano の混合データでは、英語以外の全言語に割り当てられるのは約 5% です。ドイツ語のソースには、HPLT v3 と v4、German Commons、German FinePDFs、FineWiki が含まれます。さらに、商業ライセンスを取得した Genios から、916 の新聞・専門誌アーカイブに収録された 1.93 億記事を追加しました。
インフラストラクチャも同様に「主権」の考え方に則っています。今回の学習には最大で 512 個の NVIDIA B200 GPU を使用し、2026 年 3 月 24 日から 5 月 13 日にかけて実行されました。消費された計算リソースは約 25.3 万 GPU 時間です。
Performance（性能評価）
これらの設計選択は、評価結果に明確に表れています。Soofi S は、他の 16 のオープンソースベースモデルと比較検証されました。すべてのモデルで、lm-evaluation-harness パイプライン、プロンプト、few-shot（少サンプル学習）の設定を統一しています。
Benchmark (%) | Soofi S 30B-A3B | Olmo 3 32B | Apertus 70B | EuroLLM 22B | Alia 40B
---|---|---|---|---|---
English aggregate | 70.1 | 67.3 | 62.4 | 61.2 | 59.0
German aggregate | 79.1 | 69.2 | 72.8 | 70.6 | 68.4
Held-out (EN / DE) | 41.4 / 41.8 | 33.1 / 36.2 | 27.6 / 33.5 | 30.8 / 33.9 | 28.0 / 29.4
HumanEval (pass@1) | 73.8 | 63.0 | 30.2 | 39.3 | 23.8
MBPP-DE (pass@1) | 84.2 | 70.8 | 50.9 | 59.4 | 45.6
LBPP (pass@1) | 31.0 | 32.1 | 6.4 | 10.7 | 8.6
GSM8K のスコアは 86.1、80.7、65.4、25.1、65.4 です。
Minerva MATH-DE では 56.0、48.5、29.0、28.4、12.9。INCLUDE-DE は 61.2、48.2、50.4、51.1、43.9。
GPQA-Diamond は 43.4、33.3、27.3、30.3、29.8。
GLP-DE では 88.8、73.0、81.2、78.2、65.4。
アーキテクチャが同一の参照モデルと比較すると、Soofi S は英語の平均で 1.8 ポイント向上しました。ドイツ語では 4.2 ポイント、未学習の英語データでも 6.7 ポアップしています。これは、データ構成（レシピ）の違いが性能に直結していることを示しています。
より大規模なオープンウェイトモデルとの比較では状況が変わります。Qwen3.5 (35B-A3B) が英語、ドイツ語、未学習データのいずれにおいても最高スコアを記録しました。一方、Soofi S の英語スコアは 70.1 で、Gemma 3 (27B) や Ministral 3 (14B) の 70.3 に僅差で並びます。ドイツ語では Soofi S が両者を上回り、79.1 を記録しました（対するモデルは 78.4 と 78.3）。
ベースモデルの動作確認
これらの結果を再現するには、まずモデルの重み（ウェイト）を取得する必要があります。ベースリポジトリはゲート付きプレビュー版であり、独自のモデリングコードを含んでいます。
# pip install -U transformers accelerate torch
# hf auth login # ベースリポジトリはゲート付きです。モデルページで利用規約に同意してください
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Soofi-Project/Soofi-S-Base"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id, trust_remote_code=True, dtype="auto", device_map="auto"
)ベースモデル：プレーンテキストの補完のみ。チャットテンプレートもシステムプロンプトもなし。
prompt = "AI sovereignty is the idea that"
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=128)
print(tok.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))同じリポジトリは vLLM 経由でも利用可能です：
vllm serve "Soofi-Project/Soofi-S-Base"どこで活用できるか？
数値データを総合すると、主に 3 つのユースケースが浮かび上がります。
第一に、ドイツ語文書の処理です。GLP-DE で 88.8 点、INCLUDE-DE で 61.2 点を記録しており、保険会社が契約書 PDF をベースにファインチューニングする用途に最適です。
第二に、バイリンガルのコード支援です。MBPP-DE で 84.2 点と高いスコアを示しており、ドイツ語で指示を出して Python のタスクを処理するチームに適しています。
第三に、高並列かつ長文脈の推論サービスです。バッチサイズ 32、コンテキスト長 40K という条件は、サポートチケット対応のための RAG（検索拡張生成）システムの実測値と合致します。このケースでは、RULER と NaturalQuestions のデータセットにおける引き出し精度のギャップをテストすることをお勧めします。
キーポイント
- Soofi S は 316 億パラメータのうち 32 億がアクティブに動作し、52 レイヤー中わずか 6 つのみが KV キャッシュを保持します。
- 完全オープンなベースモデルとして、英語の総合スコアは 70.1、ドイツ語は 79.1 を記録し、他社をリードしています。
- ドイツ語性能はフェーズ 2 の混合データセットで 15.32% に達しており、Nemotron の約 5%（多言語全体）と比較して圧倒的です。
- デコード速度は、40K コンテキストにおいて 8〜9 倍の高速化を達成。4K から 256K までコンテキスト長が変わっても性能が一定に保たれます。
まだ解決すべき課題
- 長文入力における RULER の抽出精度
- 事実性の正確な把握（ファクトリコール）
- ゲート制御付きのプレビュー重み付けの実装
- ライセンス条項の未確定状態
詳細はプレトレーニングレポート、プロジェクトページ、Hugging Face のページをご覧ください。また、Twitter でフォローしていただくと幸いです。15 万人以上の ML 関係者が参加する Reddit サブコミュニティへの参加や、ニュースレターの購読もぜひご検討ください。
あ、Telegram をご利用の方へ！今なら Telegram でも私たちに参加いただけます。
GitHub リポジトリの紹介、Hugging Face ページの宣伝、製品発表、ウェビナーなどのご協力をご希望の場合は、お気軽にご連絡ください。
原文を表示
A German research consortium has published the pretraining report for Soofi S 30B-A3B. It is an open base model for German and English. Training ran end to end on Deutsche Telekom’s Industrial AI Cloud in Munich. Preview weights are on Hugging Face. It is worth noting that among some of the fully open base models tested, Soofi S records the highest English and German aggregate scores.
What is Soofi S 30B-A3B?
Soofi S is a Mixture-of-Experts (MoE) hybrid Mamba Transformer foundation model. It totals ~31.6B parameters and activates ~3.2B per token. As a base model, it has no instruction tuning, alignment, or safety tuning. The KI Bundesverband coordinates the consortium, funded by the German Federal Ministry for Economic Affairs and Energy. Participants include Fraunhofer IAIS, DFKI, TU Darmstadt, ellamind, and Merantix Momentum.
How the architecture works?
The efficiency claim starts with the layer stack. The network holds 52 layers. That is 23 Mamba-2 sequence-mixing layers, 23 granular MoE layers, and 6 Grouped-Query Attention (GQA) layers. Only those 6 GQA layers maintain a KV cache. Each MoE layer holds 128 routed experts, activates 6 per token, and adds 2 shared experts. Other details: model dimension 2688, squared ReLU, RMSNorm, and no positional embeddings.
Soofi S adopts the Nemotron 3 Nano reference design without modification. The research team gives three reasons for that choice. Those are deployability on stacks such as vLLM, serving efficiency, and scientific control. Because the backbone is fixed, Nemotron 3 Nano becomes an architecture-identical baseline. The data recipe is the only moving part.
#mtp-soofi-embed{margin:22px 0;}
#mtp-soofi-embed hr,#mtp-soofi-embed p:empty,#mtp-soofi-embed del,#mtp-soofi-embed s{display:none!important}
#mtp-soofi-frame{width:100%!important;border:0!important;display:block!important;background:#0E0E0E!important;border-radius:14px!important;overflow:hidden!important;color-scheme:dark!important}
@media(max-width:640px){#mtp-soofi-embed{margin:16px 0}}
(function(){
var f=document.getElementById('mtp-soofi-frame');
if(!f) return;
window.addEventListener('message',function(e){
if(e&&e.data&&typeof e.data.sfHeight==='number'&&e.data.sfHeight>200){
f.style.height=Math.round(e.data.sfHeight)+'px';
}
},false);
})();
The training recipe: ~26.68T consumed tokens in three phases
That recipe follows a Warmup–Stable–Decay (WSD) schedule with a minus_sqrt decay segment. Phase 1 consumed ~20T tokens on a diverse, quality-tiered mixture at a 1e-3 plateau. Phase 2 consumed ~6.58T tokens of high-quality annealing data. It decays 1e-3 to 1e-5, then continues at a constant 1e-5. Phase 3 consumed ~0.10T tokens at a 1,048,576-token sequence length. It extends the usable context window up to 1M tokens.
German is the deliberate variable. It rises from 7.2% of Phase 1 effective tokens to 15.32% in Phase 2. The reference Nemotron 3 Nano mixture allocates about 5% to all non-English languages combined. German sources include HPLT v3 and v4, German Commons, German FinePDFs, and FineWiki. Genios adds 193M articles from 916 newspaper and trade-press archives, commercially licensed.
Infrastructure follows the same sovereignty logic. The run used up to 512 NVIDIA B200 GPUs, from 24 March to 13 May 2026. It consumed ~253,000 B200 GPU-hours.
Performance
Those choices show up in the evaluation. Soofi S ran against 16 other open base models. All used the same lm-evaluation-harness pipeline, prompts, and few-shot settings.
Benchmark (%)Soofi S 30B-A3BOlmo 3 32BApertus 70BEuroLLM 22BAlia 40B
English aggregate70.167.362.461.259.0
German aggregate79.169.272.870.668.4
Held-out (EN / DE)41.4 / 41.833.1 / 36.227.6 / 33.530.8 / 33.928.0 / 29.4
HumanEval (pass@1)73.863.030.239.323.8
MBPP-DE (pass@1)84.270.850.959.445.6
LBPP (pass@1)31.032.16.410.78.6
GSM8K86.180.765.425.165.4
Minerva MATH-DE56.048.529.028.412.9
INCLUDE-DE61.248.250.451.143.9
GPQA-Diamond43.433.327.330.329.8
GLP-DE88.873.081.278.265.4
Against its architecture-identical reference, Soofi S gains 1.8 points on the English aggregate. German gains 4.2, and held-out English 6.7. That isolates the data recipe from the backbone.
The picture changes against larger open-weight models. Qwen3.5 35B-A3B holds the highest English, German, and held-out means. Soofi S scores 70.1 English against 70.3 for Gemma 3 27B and Ministral 3 14B. On German it leads both, 79.1 to 78.4 and 78.3.
Running the base model
Reproducing any of this starts with the weights. The base repo is a gated preview, and it ships custom modeling code.
Copy CodeCopiedUse a different Browser
pip install -U transformers accelerate torch
hf auth login # base repo is gated: accept the terms on the model page first
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Soofi-Project/Soofi-S-Base"
tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
model_id, trust_remote_code=True, dtype="auto", device_map="auto"
)
Base model: plain text completion. No chat template, no system prompt.
prompt = "AI sovereignty is the idea that"
inputs = tok(prompt, return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=128)
print(tok.decode(out[0][inputs["input_ids"].shape[-1]:], skip_special_tokens=True))
The same repo serves through vLLM:
Copy CodeCopiedUse a different Browser
vllm serve "Soofi-Project/Soofi-S-Base"
Where it fits?
Together, the numbers suggest three deployment shapes. First, German document work: GLP-DE 88.8 and INCLUDE-DE 61.2 suit an insurer fine-tuning on policy PDFs. Second, bilingual code assistance: MBPP-DE 84.2 suits teams prompting in German against Python tasks. Third, high-concurrency long-context serving: a support-ticket RAG system at batch 32 and 40K context matches the measured regime. For that case, test retrieval against the RULER and NaturalQuestions gaps.
Key Takeaways
Soofi S activates 3.2B of 31.6B parameters; only 6 of 52 layers hold a KV cache.
It leads fully open base models: 70.1 English aggregate, 79.1 German aggregate.
German hits 15.32% of the Phase 2 mixture, versus ~5% multilingual in Nemotron.
Decode measures 8–9× dense 14–24B models at 40K context, flat from 4K to 256K.
Open gaps: RULER extraction at long inputs, factual recall, gated preview weights, unfinalized license.
Check out the Pretraining report, Project page and Hugging Face . Also, feel free to follow us on Twitter and don’t forget to join our 150k+ML SubReddit and Subscribe to our Newsletter. Wait! are you on telegram? now you can join us on telegram as well.
Need to partner with us for promoting your GitHub Repo OR Hugging Face Page OR Product Release OR Webinar etc.? Connect with us
The post Soofi Consortium Releases Soofi S 30B-A3B: An Open Hybrid Mamba-Transformer MoE Foundation Model For German And English appeared first on MarkTechPost.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み