#inference のAIニュース

5件の記事

Amazon SageMaker AI の非同期推論にリクエストペイロードの直接送信がサポートされるように

AWS は Amazon SageMaker AI の非同期推論機能において、API を呼び出す際にリクエスト本体に直接データを格納して送信できる機能を追加した。これにより、各実行前にデータを S3 にアップロードする必要がなくなり、ネットワーク往復の削減や運用負荷の軽減が可能になった。

NVIDIA は、Kubernetes 環境で実行される推論ワークロードの起動時間を大幅に短縮する「Dynamo」のスナップショットを公開しました。これにより、AI サービスの展開効率が向上します。

クラウドプロバイダー DigitalOcean が、AI 推論ワークロードに特化した新クラウド環境を発表し、開発者が低コストで高速な推論基盤を利用可能にした。

NVIDIAのジェンソン・フアンCEOが「AIファクトリー」時代を宣言したが、GPUクラスターや巨大モデルへの注目が集まる中、AWSやAzureなどのクラウド環境ではデータインフラを圧迫するAIエージェントによる静かなる危機が進行している。

ノア・ブラウン氏とサム・アルトマン氏は、GPT-5.5の成功を背景に、推論計算が現在過小評価された戦略的資源であり、企業は本格的にAI推論会社へと転換する必要があると指摘した。