#gpu 推論のAIニュース

2件の記事

Netflix、Triton と vLLM を活用した独自 LLM サービングプラットフォームの詳細を公開

Netflix は、異なるモデルサイズやハードウェア要件への対応、急速に進化する推論エンジンへの適応など、社内 LLM 推論プラットフォーム構築における実戦の教訓とアーキテクチャ選択について詳細を明らかにした。

MarkTechPost は、バイトダンス傘下の百度が提供する「Unlimited-OCR」モデルを用いて、高解像度画像や多ページ PDF の解析を行う完全なワークフローの構築方法を解説している。