#モデル推論のAIニュース

2件の記事

Amazon Bedrockの推論ワークロード向け新CloudWatchメトリクスでTTFTと推定クォータ消費量の可視性を向上

AWSはAmazon BedrockでTTFT（初回トークン時間）と推定クォータ消費量のCloudWatchメトリクスを追加し、生成AIワークロードの推論パフォーマンスとリソース消費の可視性を向上させた。

研究者らが、大規模言語モデル（LLM）の推論能力を向上させるため、推論時の計算スケーリング、強化学習、教師ありファインチューニング、蒸留などの新戦略を多数発表した。