SGLang、メタの多モーダルモデル「Muse Glimmer」をローカル推論向けにサポート開始

記事の3ポイント

1. 1

   Muse Glimmer のアーキテクチャと性能

   Muse Glimmer は 30B パラメータのマルチモーダルモデルであり、128k トークン以上のコンテキストウィンドウを備え、ローカルハードウェア上で競合他社に匹敵するエージェントワークフローのパフォーマンスを発揮する。

2. 2

   SGLang による高性能推論の達成

   NVIDIA GeForce RTX 5090 環境において、DFlash と NVFP4 を活用した最適化により、1,452 tok/s のスループットと 236 tok/s のユーザーあたりデコード速度を SGLang が実現する。

3. 3

   多様なハードウェアへの展開対応

   SGLang は NVIDIA GeForce RTX 5090、RTX PRO 6000、DGX Spark（SM120 ベンド）および Apple Silicon（MLX ベンド）を含む幅広い消費者向け・ワークステーション向けハードウェアで Muse Glimmer のデプロイを可能にする。