ページを読み込み中…
2件の記事
Netflix は既存インフラで LLM 推論を運用する方法を公開した。エンジン選定、モデルパッケージ化、API 設計、デプロイ戦略、出力制約、実負荷でのトレードオフについて詳述している。
Netflix の AI プラットフォームチームは、外部 API に依存せずモデル展開から推論まで自社の既存環境で完結させる独自 LLM サービング基盤の構築過程と、エンジン選定などの技術的トレードオフについて報告した。