ページを読み込み中…
ページを読み込み中…
4件の記事
DeepSpeed と統合された AutoSP は、標準的なトランスフォーマー学習コードをシーケンス並列化コードへ自動変換し、複数の GPU で実行オーバーヘッドを抑えながら長いシーケンスの学習を可能にする。また、高度な活性化チェックポイント戦略によりメモリ管理が向上する。
Zigプログラミング言語がバージョン0.16.0をリリースし、プログラムのmain()関数向けの依存性注入機能「Juicy Main」を導入した。
PFNインターン生は、深層学習アクセラレータ「MN-Core」でGLSLシェーダーを利用するため、GLSLコードをPyTorchコードに変換するトランスパイラを実装した。これにより、グラフィックス処理の並列性能を活用し、MN-Coreの用途拡大を図っている。
NVIDIAがCUDA Tileを発表した。これはNVIDIA Tensor Core向けの移植性を目指すGPUベースのプログラミングモデルであり、GPUのピーク性能を引き出すことを可能にする。