Netflix の LLM サービングスタック構築

記事の3ポイント

1. 1

   独自インフラでのフルスタック運用

   Netflix は外部API依存から脱却し、モデルデプロイメントから推論までを既存の生産環境内で完結させる戦略を採用している。

2. 2

   JVMベースの統一サービングシステム

   ルーティング、A/Bテスト、特徴量取得、推論、後処理を一貫して処理するJVMベースのシステムが中核を担い、gRPCとHTTPの両経路をサポートしている。

3. 3

   GPUリソースの効率的な管理

   小規模モデルはインプロセスで実行し、大規模モデルはModel Scoring Service (MSS) を介してNVIDIA Triton Inference Serverに委譲するハイブリッド構成を採用している。