中国のシャオミ製「MiMo」が ChatGPT や Claude よりも 15 倍高速に
シャオミと推論パートナーの TileRT は、標準的な 8 GPU ノードで秒間 1,000 トークンの推論速度を実現する 1 兆パラメータモデル「MiMo-V2.5-Pro-UltraSpeed」を開発した。この高速化は FP4 量子化と DFlash 推測デコーディング技術によるもので、6 月 9 日から 23 日までの限定 API 試験で利用可能となる。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Xiaomi と推論パートナーの TileRT は、標準的な 8 GPU の汎用ノード上で 1 秒間に 1,000 トークンの推論速度を達成した、1 兆パラメータモデル「MiMo-V2.5-Pro-UltraSpeed」を開発しました。この高速化は、モデルの専門家層（expert layers）における FP4 量子化と、DFlash 予測デコーディング（speculative decoding）によって実現されました。DFlash は、一度に一つずつではなく、トークンのブロック全体をワンパスで提案する技術です。本モデルは、6 月 9 日から 6 月 23 日までの期間限定 API 試用版として利用可能です。料金は標準の MiMo-V2.5-Pro の約 3 倍ですが、出力量は約 10 倍になります。
原文を表示
Xiaomi and inference partner TileRT have created a 1-trillion-parameter model, MiMo-V2.5-Pro-UltraSpeed, with an inference speed of 1,000 tokens per second on a standard 8-GPU commodity node. The speed was achieved through FP4 quantization on the model's expert layers and DFlash speculative decoding, which proposes a full block of tokens in one pass instead of one at a time. The model is available through a limited API trial from June 9 to June 23. It costs three times the standard MiMo-V2.5-Pro rate for roughly 10 times the output.
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み