#ai推論のAIニュース

6件の記事

Amazon Bedrockの詳細なコスト帰属機能の導入

AWSがAmazon Bedrockの推論コストをIAMプリンシパルごとに自動的に帰属する機能を発表した。これにより、コストの内訳把握、コスト最適化、財務計画が容易になる。

NVIDIAは、ハードウェア・ソフトウェア・モデルの共同設計により、AIファクトリーの最高スループットと最低トークンコストを実現し、MLPerf推論ベンチマークで新記録を樹立した。

Gimlet Labsは、AIがNVIDIA、AMD、Intel、ARM、Cerebras、d-Matrixのチップを同時に実行できる技術で8000万ドルのシリーズA資金を調達した。

NVIDIAがVera CPUを発表し、AIインフラの各層に新たな要件が生じる中、推論モデルのトークン需要増加に対応する高性能・高帯域幅・高効率をAIファクトリー向けに提供する。

NVIDIAが、現代AIの重要なワークロードであるFlash Attentionの実装方法と、CUDA Tileを使用した最適化テクニックを解説している。

SambaNovaはインテルと提携し、市場が複雑な多段階推論へ移行する中で、コスト効率の高いAI推論システムを提供することを目指している。