Hugging Face、知識と推論を分離した基盤モデル「Intern-S2-Mobius」を発表
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
InternLM は、知識と推論を分離した新アーキテクチャ「Mobius-v0」を採用し、学習データ量を大幅に削減しながら推論速度を約4倍向上させるモデル「Intern-S2-Mobius」を発表した。
AI深層分析を開く2026年8月17日 13:26
AI深層分析
キーポイント
知識と推論の分離アーキテクチャの実装
Mobius-v0 は、知識ベクトルを格納するグローバル共有メモリ（FFN）と、構成的推論を反復的に達成する複数の推論器（Self-Attn）から構成される。
学習効率の劇的な向上
同社によると、7B モデルはベースラインの 62.6% のデータ量で訓練されながら、同等のダウンストリームスコアを達成したとされる。
推論速度の大幅な加速
Qwen3.5-35B から継続事前学習された Intern-S2-Mobius は、エンドツーエンドの推論速度で約4倍の高速化を実現したと発表した。
重要な引用
We introduce Mobius-v0, an architecture that comprises a globally shared Memory (FFN) that stores knowledge vectors and multiple Reasoners (Self-Attn) that iteratively achieve compositional reasoning.
Our Intern-S2-Mobius, continually-pretrained from Qwen3.5-35B, achieves similar downstream score while delivering nearly 4x end-to-end inference speedup.
編集コメントを表示
編集コメント
この論文は、大規模モデルの効率化においてアーキテクチャの根本的な見直し（知識と推論の分離）が有効であることを示唆しており、今後の軽量・高速モデル開発の方向性を示す重要な一歩である。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
私たちは、知識ベクトルを格納するグローバル共有メモリ（FFN）と、反復的に構成推論を実現する複数の推論器（Self-Attn）からなるアーキテクチャ「Mobius-v0」を発表します。隠れ状態をキャッシュおよび伝送媒体として活用し、推論器は必要な知識ベクトルをメモリに繰り返し問い合わせます。一方、取得した知識は推論演算子へ戻されます。この知識と推論を分離するアーキテクチャにより、Mobius はより優れた知識圧縮と推論効率を実現します。
Mobius-v0 アーキテクチャを基盤として、以下の成果が得られています：
1) ゼロから学習した 7B モデルは、ベースラインの Transformer モデル（7B）と同様のダウンストリームスコアを達成しながら、必要な訓練データ量はベースラインの 62.6% で済みました。
2) Qwen3.5-35B から継続事前学習を行った「Intern-S2-Mobius」は、同程度のダウンストリーム性能を維持しつつ、エンドツーエンドの推論速度を約 4 倍向上させました。
原文を表示
We introduce Mobius-v0, an architecture that comprises a globally shared Memory (FFN) that stores knowledge vectors and multiple Reasoners (Self-Attn) that iteratively achieve compositional reasoning. Using hidden states as cache and carrier, reasoners repeatedly query memory for required knowledge-vectors, while the knowledge is transmitted back to reasoning operators. Through this knowledge-reasoning-separation architecture, Mobius achieves better knowledge compression and reasoning efficiency. Built upon Mobius-v0 architecture: 1) Our 7B model trained-from-scratch achieves similar downstream score as a 7B Transformer baseline with 62.6% of baseline's training data. 2) Our Intern-S2-Mobius, continually-pretrained from Qwen3.5-35B, achieves similar downstream score while delivering nearly 4x end-to-end inference speedup.
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み