#vllm のAIニュース

vLLM、柔軟なMoE推論向けAFDプラグイン発表

vLLMが、アテンションとFFNを分離する「AFDプラグイン」を発表し、柔軟なMoE（混合専門家）モデルの推論サービスを実現した。

PyTorch財団が複数プロジェクトを統合しAIライフサイクル支援へ

PyTorch財団は2025年4月、単一プロジェクトから多プロジェクト体制へ進化し、PyTorchやvLLMなど6プロジェクトを統括してAIライフサイクル全体のイノベーション拡大と協力を推進すると発表した。

vLLM、Kimi K3の生産環境サポートを公開

vLLMが、中国の月之暗面（Moonshot AI）が開発した大規模言語モデル「Kimi K3」の生産環境での利用をサポートするプレビュー版を発表しました。

A100 80GBでOSS VLMのマルチモーダルRAGを比較：A4000 16GBでは起動できなかった理由

はじめに 最近、オープンソースのLLM/VLMの選択肢がかなり増えてきました。

Netflix、自社開発の LLM サービング基盤と設計判断を公開

Netflix の AI プラットフォームチームは、外部 API に依存せずモデル展開から推論まで自社の既存環境で完結させる独自 LLM サービング基盤の構築過程と、エンジン選定などの技術的トレードオフについて報告した。

vLLM の品質保証プロセスを解説

vLLM ブログが、CI（継続的インテグレーション）、ベンチマーク、リリースプロセスを通じて vLLM の生産環境での品質を維持する方法について内部を公開した。

ローカル AI エージェント用 Python フレームワーク 7 選

KDnuggets が、ローカル環境で AI エージェントを構築・運用するための Python フレームワーク 7 つを紹介した。

vLLM、TML InklingのDay-0サポート開始

vLLMがTML Inklingに対してDay-0サポートを開始し、最適化されたパフォーマンスを実現した。

vLLM、TileRTと連携し遅延重視型推論を最適化

vLLMはTileRT技術と連携し、遅延が重要なサービス向けに特別に設計された推論機能を提供するようになった。これにより、リアルタイム性が求められるAIサービスの性能向上が期待される。

vLLM×AMD GPUでEAGLE-3推論を高速化

vLLMとAMD Quarkを活用し、AMD Instinct GPU上でEAGLE-3の予測デコーディングの学習・推論を実現した。

SageMaker HyperPod における LLM 推論のための分離型プリフィルとデコード

AWS は、SageMaker HyperPod で大規模言語モデルの推論効率を向上させるため、プリフィル処理とトークン生成（デコード）を別々の GPU プールで実行する「Disaggregated Prefill and Decode」技術を発表した。これにより、長いプロンプトによる並列リクエストの遅延が解消される。

vLLM、AMD GPU で RL 学習を完全サポート

vLLM が AMD Instinct GPU 上で vime と ROCm を連携させ、強化学習のポストトレーニングをエンドツーエンドで実行可能にした。

ネイティブ速度の vLLM トランスフォーマーモデルバックエンド

Hugging Face が、vLLM を活用したネイティブ速度で動作するトランスフォーマーモデルのバックエンドを発表しました。

騰訊混元が vLLM に HPC オプス対応

騰訊の AI モデル「混元」が開発した高性能アテンションおよび MoE バックエンド技術が、vLLM へ統合された。これにより大規模モデルの推論効率が向上する。

1 コマンドで HF Jobs で vLLM サーバーを実行する方法（3 分読了）

TLDR AI は、Hugging Face の Jobs サービス上で単一のコマンドにより vLLM サーバーを起動する手順を紹介している。これにより開発者は効率的に推論サーバーを構築できる。

1 コマンドで Hugging Face Jobs で vLLM サーバーを実行可能に

Hugging Face が、vLLM サーバーを Hugging Face Jobs 上で単一のコマンドで実行できる機能を導入した。これにより、大規模言語モデルの推論環境構築が簡素化された。

AI推論エンジニアリングへのガイド（17分読了）

TLDR AI は、生産環境で訓練済みAIモデルを効率的に実行する分野である「AI推論エンジニアリング」について解説し、遅延・スループット・コスト・品質の最適化が重要であると述べています。

On-policy のはずが Off-policy になる：LLM 強化学習 の rollout mismatchと対策(rollout correction)

NVIDIA Dynamo スナップショット：Kubernetes 上の推論ワークロードにおける高速起動

NVIDIA は、Kubernetes 環境で実行される推論ワークロードの起動時間を大幅に短縮する「Dynamo」のスナップショットを公開しました。これにより、AI サービスの展開効率が向上します。

Amazon SageMaker AI と vLLM を用いたリアルタイム音声アプリケーションの構築

AWS は、2025 年 11 月から Amazon SageMaker AI と vLLM を活用し、従来の方式では不可能だった低遅延のリアルタイム音声処理を実現する新機能を公開した。これにより、通話分析や字幕生成などのアプリケーションが単一接続で同時に音声ストリームを送受信できるようになる。

vLLM V0 から V1 へ：RL における修正前の正しさの重要性（8 分読了）

vLLM は V1 アップデートにより、ログ確率計算や重み更新の不整合を解消し、V0 と同等の推論精度と RL パフォーマンスを確保した。

vLLM V0 から V1：RL における修正前の正しさの重視

vLLM チームは、強化学習（RL）を適用する際、モデルの性能を向上させるための修正を行う前に、まず推論結果の正確性を確保することが重要であると発表した。

Google TPU上でLLM推論を高速化：拡散型予測デコーディングによる3倍の速度向上を実現

UCSD（カリフォルニア大学サンディエゴ校）の研究チームは、Google TPU上でブロック拡散型予測デコーディング手法「DFlash」を実装し、従来の逐次推論のボトルネックを克服して推論速度を3倍に向上させることに成功した。

vLLM のルーティングと KV キャッシュに関する解説

vLLM が提供する高速推論技術において、リクエストを分散するルーティング手法と、計算効率を高める KV キャッシュ管理の仕組みについて詳しく解説しています。

LLM サービングにおける CPU と GPU の分離の必要性：SMG の事例

Shepherd Model Gateway（SMG）は、大規模な大規模言語モデル（LLM）展開向けの高パフォーマンスなモデルルーティングゲートウェイです。同ツールは、ワーカーライフサイクル管理を一元化し、HTTP/gRPC/OpenAI 互換バックエンド間でトラフィックを分散させます。また、履歴保存や MCP ツール、プライバシー重視のワークフローに対する企業レベルの制御を提供します。

AWS TrainiumとvLLMを用いた推測的デコードによるデコード負荷の高いLLM推論の高速化

AWS TrainiumとvLLMを用いた推測的デコードにより、Qwen3モデルのトークン生成速度が最大3倍向上し、出力品質を維持したままトークンあたりのコスト削減とスループット向上が実現された。

P-EAGLE: vLLMにおける並列投機的デコーディングによる高速なLLM推論

研究者らは、大規模言語モデル推論のための並列投機的デコーディング手法P-EAGLEを開発した。従来のEAGLE手法の逐次処理のボトルネックを解消し、複数のドラフトトークンを単一のフォワードパスで生成することで、推論速度を最大1.8倍向上させた。

Amazon SageMaker AIとAmazon BedrockでvLLMを使用して数十のファインチューニングモデルを効率的に提供

vLLMでMixture of ExpertsモデルのマルチLoRA推論を実装し、カーネルレベルの最適化を行い、効率的なモデル提供方法を解説。GPT-OSS 20Bを例に使用。

LLM推論における非決定性の克服

Horace Heらによる、大規模言語モデルの推論における非決定性を克服する研究についての記事。

LLM-jp Chatbot Arenaを試験運用しました

LLM-jp では、2025年1月末から2月中旬にかけて、日本語 LLM を対象とした Chatbot Arena「LLM-jp Chatbot Arena」の試験運用を行い、そのログデータを Hug

vLLMと大規模モデル

vLLMは大規模言語モデルの推論速度と効率を向上させる推論エンジンであり、AI業界で注目されている技術です。