ストリーミングエキスパート
「Streaming experts」手法により、MacBookやiPhone上でMoEモデルの重みをSSDから逐次読み込み、超大規模LLMのローカル推論が実証された。
キーポイント
MoE重みストリーミング技術の核心
RAM容量がモデル全体を収容できない環境でも、必要なexpert重みをSSDから逐次読み込むことで大規模MoEモデルの動作を可能にする手法。
コンシューマーデバイスでの実証事例
M2 Max MacBook Pro (96GB RAM) で Kimi K2.5 (1Tパラメータ/32Bアクティブ)、iPhone で Qwen3.5-397B-A17B の動作を確認。
性能課題と最適化の展望
iPhone環境では0.6 tok/sと低速だが、コミュニティ主導のautoresearchループにより継続的なパフォーマンス向上が期待される。
重要な引用
the trick where you run larger Mixture-of-Experts models on hardware that doesn't have enough RAM to fit the entire model by instead streaming the necessary expert weights from SSD for each token that you process.
Today @seikixtc reported running the colossal Kimi K2.5 - a 1 trillion parameter model with 32B active weights at any one time, in 96GB of RAM on an M2 Max MacBook Pro.
I think this technique has legs.
影響分析・編集コメントを表示
影響分析
本手法は、メモリ容量の制約をストレージ帯域で補うことで、大規模MoEモデルのローカル展開ハードルを大幅に下げる。将来的にはストレージ速度の向上とモデル圧縮技術が成熟すれば、クラウド依存を減らしつつ高度な推論をエッジデバイスで実行する新たなアーキテクチャ標準となる可能性がある。
編集コメント
大規模モデルのローカル展開において、メモリ容量よりストレージ帯域がボトルネックとなる時代が来ている。コミュニティ主導の最適化が公式エコシステムを凌駕するケースは、今後のAI開発リソース配分の転換点を示唆している。
I wrote about Dan Woods' experiments with streaming experts the other day, the trick where you run larger Mixture-of-Experts models on hardware that doesn't have enough RAM to fit the entire model by instead streaming the necessary expert weights from SSD for each token that you process.
Five days ago Dan was running Qwen3.5-397B-A17B in 48GB of RAM. Today @seikixtc reported running the colossal Kimi K2.5 - a 1 trillion parameter model with 32B active weights at any one time, in 96GB of RAM on an M2 Max MacBook Pro.
And @anemll showed that same Qwen3.5-397B-A17B model running on an iPhone, albeit at just 0.6 tokens/second - iOS repo here.
I think this technique has legs. Dan and his fellow tinkerers are continuing to run autoresearch loops in order to find yet more optimizations to squeeze more performance out of these models.
Tags: definitions, llms, ai, autoresearch, generative-ai, kimi, local-llms, qwen
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み