ページを読み込み中…
2件の記事
Latent Space のインファレンスエンジニアリングマスタークラスで、起動オーバーヘッド削減のために作成するメガカーネルの有効性や限界について活発な議論が行われた。
NVIDIA は、数千個の GPU を使用した大規模な大規模言語モデル（LLM）の学習において、インフラ上の課題を解決するため、非均等テンソル並列性の手法を導入し、計算効率であるグッドプットを向上させる技術を発表しました。