ページを読み込み中…
ページを読み込み中…
3件の記事
Together AI は、ユーザーが専用モデルの推論環境を構成・設定するための手順やガイドラインをブログ記事として発表した。
AWSはAmazon BedrockでTTFT（初回トークン時間）と推定クォータ消費量のCloudWatchメトリクスを追加し、生成AIワークロードの推論パフォーマンスとリソース消費の可視性を向上させた。
研究者らが、大規模言語モデル（LLM）の推論能力を向上させるため、推論時の計算スケーリング、強化学習、教師ありファインチューニング、蒸留などの新戦略を多数発表した。