vLLM、柔軟なMoE推論向けAFDプラグイン発表

記事の3ポイント

1. 1

   Attention-FFN の非同期化（AFD）の実装

   vLLM AFD Plugin は、アテンションパスとFFN（Expert）パスを独立したサービスとして分離し、それぞれが異なるトポロジでスケーリングできる仕組みを提供する。

2. 2

   異なるリソース要件への対応

   アテンションは KV キャッシュやシーケンス長に依存するのに対し、FFN はトークンルーティングとエキスパート負荷に依存するため、両者のスケーリング要件を独立させることが可能になる。

3. 3

   バックエンド非依存な通信設計

   CUDA や Ascend などの異なるハードウェア向けに個別の最適化ライブラリやオペレーターが存在するが、共通のコネクタ契約によってモデル側のフローを安定させつつデータパスを各バックエンドに委譲する。