#コンパイラ技術のAIニュース

4件の記事

AutoSP の紹介：長文コンテキスト LLM 学習を自動化する新技術

DeepSpeed と統合された AutoSP は、標準的なトランスフォーマー学習コードをシーケンス並列化コードへ自動変換し、複数の GPU で実行オーバーヘッドを抑えながら長いシーケンスの学習を可能にする。また、高度な活性化チェックポイント戦略によりメモリ管理が向上する。

Zigプログラミング言語がバージョン0.16.0をリリースし、プログラムのmain()関数向けの依存性注入機能「Juicy Main」を導入した。

PFNインターン生は、深層学習アクセラレータ「MN-Core」でGLSLシェーダーを利用するため、GLSLコードをPyTorchコードに変換するトランスパイラを実装した。これにより、グラフィックス処理の並列性能を活用し、MN-Coreの用途拡大を図っている。

NVIDIAがCUDA Tileを発表した。これはNVIDIA Tensor Core向けの移植性を目指すGPUベースのプログラミングモデルであり、GPUのピーク性能を引き出すことを可能にする。