Netflix、Triton と vLLM を活用した独自 LLM サービングプラットフォームの詳細を公開

記事の3ポイント

1. 1

   ハイブリッドアーキテクチャの採用

   Netflix は既存の JVM ベースのサービング層を維持しつつ、小規模モデルは CPU で実行し、大規模リクエストは MSS と Triton を経由して GPU 処理を行うハイブリッド構成を採用した。

2. 2

   Triton と vLLM の役割分担

   Triton がモデル管理やスケジューリングを担当し、vLLM が推論実行と拡張機能を提供する役割分担を行い、両者のバージョン互換性を厳密にテストして固定することが必須となった。

3. 3

   カスタムモデルへの対応

   Hugging Face の標準的な互換性が不十分な場合に対応するため、vLLM の拡張ポイントを活用して独自のアーキテクチャやデコーディング動作を実装した。