Netflix、自社開発の LLM サービング基盤と設計判断を公開

記事の3ポイント

1. 1

   フルスタック自前化の推進

   Netflix は外部 API に依存せず、モデルデプロイから推論までの全工程を既存の生産環境内で完結させる独自のアプローチを採用している。

2. 2

   vLLM への基盤エンジン移行

   2025 年夏にワークロードの多様化とオープンソースエンジンの性能向上を踏まえ、専用スタックとの性能差が縮まったことを理由に vLLM を標準エンジンとして選定した。

3. 3

   統合された JVM ベースのサービングシステム

   ルーティング、A/B テスト、特徴量取得、推論、後処理を一貫して処理する JVM ベースの統一システムが構築され、gRPC と HTTP の両経路をサポートしている。