- 何が起きた: Meta は 120K トークン以上のコンテキストウィンドウを持つ 30B モデル「Muse Glimmer」を公開し、NVIDIA 上で高速なローカル実行を実現した。
- なぜ重要: 既存 LLM が優先する高速初回生成とは異なり、全パラメータを各トークンに活性化させる密結合構造を採用し、予測可能なレイテンシと高いスループットを提供する。単一 GPU で秒間 2 万トークンを達成し、ローカル環境での複雑な多段階ワークフロー実行が可能となる。
- 誰に関係するか: NVIDIA エッジ・デスクトップ・ワークステーションを利用する開発者や企業担当者が対象で、ソフトウェアプロジェクトのスケーリングやドキュメント改訂など長期的エージェントタスクの実行条件を確認する必要がある。
- 出典: NVIDIA Developer Blog
ページを読み込み中…