Baseten のキリーとターハ、推論工学マスタークラスを公開

記事の3ポイント

1. 1

   推論エンジニアリングの地位向上

   3 年前には存在しなかったカテゴリが現在では AI の最も重要な分野の一つとなり、トレーニング後の重みを高速で信頼性のある製品に変換する独自の最適化問題として確立された。

2. 2

   具体的な技術的突破事例

   GLM-5.2 の実験において、モデルの量子化を強化してもベンチマーク品質が維持されつつスループットが 20%向上する現象が確認され、層ごとの誤差が相殺されるメカニズムが示された。

3. 3

   Baseten の資金調達と市場地位

   Baseten は 130 億ドル規模の資金調達を完了し、Nvidia や Intel と並ぶ推論インフラの主要恩恵を受ける AI インフラ企業として成長した。