#推論最適化のAIニュース

69件の記事

Apple、推論コスト削減の「Arbitrage」手法を公開

Apple Machine Learning は大規模言語モデルの推論効率向上のため、ドラフトとターゲットモデルを組み合わせた新手法「Arbitrage」を発表した。

Apple Machine Learning·8月7日

vLLM、長文コンテキスト処理向け効率的なデコード・コンテキスト並列化を公開

vLLM は、エージェント AI の大規模コードや長いチャット履歴の推論に必要な KV キャッシュの効率化のため、アテンションヘッドによる分割に依存しない新しいデコード・コンテキスト並列化手法を発表した。

vLLM Blog·8月7日

HPC-Ops、SGLang に統合され推論性能向上

Tencent Hunyuan の HPC-Ops が SGLang に統合され、Hy3 モデルの TPOT 最大 48.8% 削減が期待される。

LMSYS Blog·8月7日

Amazon SageMaker Python SDK v3、LLM 最適化機能を統合

Amazon SageMaker は Python SDK のバージョン 3 を公開し、ノートブックワークフロー内で生成 AI 推論のベンチマークとデータ駆動型のデプロイ推奨事項を直接取得できる機能を追加した。

AWS Machine Learning Blog·8月7日

#推論最適化 のAIニュース

Apple、推論コスト削減の「Arbitrage」手法を公開

vLLM、長文コンテキスト処理向け効率的なデコード・コンテキスト並列化を公開

HPC-Ops、SGLang に統合され推論性能向上

Amazon SageMaker Python SDK v3、LLM 最適化機能を統合

Amazon、Trainium 向け研究助成プログラム「Build on Trainium」の受賞者 34 件を発表

LLM ワークフローにおける推論遅延を削減する7 つのアプローチ

VIDRAFT、Fast Gemma Challenge で推論最適化レシピを公開

Cloudflare、Kimi と GLM の大規模推論を高速化・安全化

NVIDIA、高速対話型長文脈推論向けAIモデル注意機構の共同設計を発表

GPT-5.6 の再帰的自己最適化により GPT-5.4 の知能コストが 13 倍低下し価格も大幅に引き下げられる

OpenAI、GPT-5.6 の価格大幅引き下げと推論最適化を発表

OpenAI、GPT-5.6 が最先端知能と効率を融合

アリババ、月之暗面「Kimi K3」を霊駿真武M890で最適化し首トークン遅延を35%削減

vLLM、柔軟なMoE推論向けAFDプラグイン発表

Diffusers に Nunchaku 4 ビット推論を導入

vLLM、Kimi K3の生産環境サポートを公開

vLLM、モデル混合時代のシステム構築を提唱

本番環境における LLM の遅延と推論コストを削減する 12 の方法

Amazon SageMaker AI に生成 AI 推論推奨の UI を公開

SageMaker HyperPod における LLM 推論のための分離型プリフィルとデコード

品質低下なしでサブ秒の Ideogram v4 を提供

ネイティブ速度の vLLM トランスフォーマーモデルバックエンド

最終トークン選好最適化によるドゥームループの削減

Amazon SageMaker AI を用いた MLflow へのストリーミングベンチマークおよび推薦結果の送信

GPU バブルの解消：パイプラインデコーディングによる効率化

DeepSeek が LLM 推論を最大 85% 高速化する新フレームワーク「DSpark」をオープンソース化

OpenAI と Broadcom が LLM 最適化推論チップを発表

NVIDIA Blackwell で DFlash 推測デコーディングを活用し、推論パフォーマンスを最大 15 倍に向上

Amazon SageMaker AI で P-EAGLE を用いた推測的デコーディングの並列化

AI推論エンジニアリングへのガイド（17分読了）

DFlash と Spec V2 デコーディングの解説（14 分読了）

スケール時の推論コストをナプキン計算で算出する方法（13 分読）

PyTorch の Fused MLP を活用した最適化手法（29 分読了）

[AI ニュース] コグニションが 260 億ドルのシリーズ D で 10 億ドルを調達

連続バッチ処理における非同期性の解放（20 分読了）

連続バッチ処理における非同期性の解放

AI モデル推論パイプラインの摩擦を解消する方法

メタの最適化推薦システム推論に関する詳細解説

vLLM V0 から V1 へ：RL における修正前の正しさの重要性（8 分読了）

大規模言語モデルの拡張方法（14 分読了）

LLM の重みがどの程度の情報を運んでいるか：無駄なビットを探して

大規模言語モデル向け高精度量子化ツールキット「AutoRound」

実世界におけるセルフホスト型大規模言語モデル：限界、回避策、そして厳しい教訓

トリニティ：多様な専門 AI を統括する進化した LLM コーディネーター

阶跃（StepFun）「StepAudio 2.5 ASR」リリース！500TPSの超高速推論、30分音声を「数秒で文字起こし」

分布認識型推論特定デコーディングでRLロールアウトを最大50%高速化

Amazon SageMaker AIが最適化された生成AI推論の推奨機能を提供開始

NVIDIA Dynamoによるエージェント推論のフルスタック最適化

Amazon Novaモデル蒸留でビデオ意味検索の意図を最適化

2時間の激論：黄仁勲がTPU、華為、輸出規制を恐れない理由

調べる

選ぶ

サイト

#推論最適化のAIニュース