#メモリ帯域のAIニュース

2件の記事

Graviton5 の改良設計が速度とエネルギー効率を向上 - ムーアの法則を超える

Amazon は、自社製 CPU「Graviton5」を搭載した新 EC2 インスタンス M9g および M9gd の一般提供を開始し、計算性能や省エネ性を大幅に改善したと発表した。

Cerebras は IPO で急成長を示し、トークン速度に最適化された「回答用推論」と、メモリ階層に最適化された「エージェント用推論」の分裂を予兆している。同社の WSE-3 は H100 の約 6,000 倍の帯域幅を持つが、KV キャッシュやモデル重みがオンチップ容量を超えると使用できない。