#ハードウェアアクセラレーションのAIニュース

9件の記事

SpecMD：予測的専門家プリフェッチングに関する包括的研究

研究者らは、Mixture-of-Experts モデルの性能向上に不可欠な専門家のキャッシュ機構について、既存のハードウェア中心の方策との相互作用を解明するため、標準化された研究手法「SpecMD」を開発した。

研究者らが、データセンターの電力消費を迅速に推定する新手法を開発した。AI普及に伴うエネルギー需要増に対応し、データセンターの省エネ効率向上と持続可能性の実現を目指す。

Googleは、TPUがますます要求の高いAIワークロードを処理する仕組みを解説する新動画を発表した。

NVIDIAが、CUDAアプリケーション開発時に重要なデータ転送性能を測定するツール「NVbandwidth」を公開した。このツールはGPU間の相互接続とメモリ性能を評価するために設計されている。

NVIDIAが、エージェント型AIワークフローで数百万トークンに拡大するコンテキストウィンドウに対応するCMXコンテキストメモリストレージプラットフォームを発表した。

NVIDIAは、7つのチップと5つのラックスケールシステムで構成される「Vera Rubin POD」AIスーパーコンピューターを発表した。同システムはトークン駆動型AI処理に最適化されており、急増するトークン消費需要に対応する高性能計算基盤を提供する。

NVIDIAのBlackwellプラットフォームが、金融取引向け大規模言語モデルの推論性能でSTAC-AIベンチマーク記録を達成した。同技術は大量の非構造化データを分析し、金融取引の意思決定を支援する。

NVIDIAが、現代AIの重要なワークロードであるFlash Attentionの実装方法と、CUDA Tileを使用した最適化テクニックを解説している。

TFLiteを進化させたLiteRTは、GPU性能1.4倍向上や新NPU対応など、オンデバイスAIの標準フレームワークとして機能します。