ページを読み込み中…
ページを読み込み中…
3件の記事
NVIDIA は Dynamo で LLM エンジン障害時に冷間起動を省略し、シャドウエンジンで数秒で推論能力を回復する機能をプレビュー公開した。
NVIDIA は、現代の大規模言語モデル（LLM）の推論サービス設定が複雑である課題に対し、モデルバックエンドや並列形状などの相互作用する選択をシミュレーションする「DynoSim」を発表した。これにより、最適なパフォーマンスとコストのバランス（パレートフロンティア）を効率的に見つけることが可能になる。
AWSはAmazon SageMaker AIに、生成AI推論の最適化を自動推奨する機能を提供開始した。これにより企業は、GPU設定や手動ベンチマークの作業を省略し、モデルの実装期間を大幅に短縮できる。