#deep learning infrastructure のAIニュース
2件の記事
NVIDIA Nsight 開発ツールを用いたニューラル再構築パイプラインの最適化
NVIDIA は、同社の Nsight 開発ツールを活用することで、ニューラル再構築パイプラインのパフォーマンスを大幅に向上させる手法を発表した。
NVIDIA Developer Blog·7月1日
パッキングシーケンス、GQA、ALiBi、SwiGLU、因果アテンションを用いたメモリ効率的なTransformerの構築方法（xFormers活用）
MarkTechPost は、GPU上で高速かつメモリ効率の高いTransformerモデルを構築するための実践的ツールキット「xFormers」の使用法を紹介しています。記事では、標準的な実装との比較を通じて、因果マスクやパッキングシーケンス、グループ化クエリアテンション（GQA）、カスタムALiBi位置バイアスなどの技術を組み合わせ、訓練可能なGPTスタイルのモデルを実装する方法を解説します。
MarkTechPost·6月17日·★★★★