vLLM、TML InklingのDay-0サポート開始

記事の3ポイント

1. 1

   Day-0 サポートの実現

   vLLM が Thinking Machines Lab の「Inkling」モデル（NVFP4 および BF16）を公式に Day-0 でサポートし、最適化されたパフォーマンスと完全な機能同等性を提供している。

2. 2

   高度なマルチモーダル・コンテキスト能力

   同モデルはテキスト、画像、音声の自然な入力を処理可能であり、最大 100 万トークンのコンテキスト長をサポートする独自のアーキテクチャを採用している。

3. 3

   高性能な推論速度の実証

   4 GB200 GPU 環境において、MTP を使用した場合でユーザーあたり最大 380 トークン/秒、不使用でも 140 トークン/秒の速度を vLLM が達成したと報告している。