ページを読み込み中…
ページを読み込み中…
3件の記事
NVIDIA は、同社の Nsight 開発ツールを活用することで、ニューラル再構築パイプラインのパフォーマンスを大幅に向上させる手法を発表した。
MarkTechPost は、GPU上で高速かつメモリ効率の高いTransformerモデルを構築するための実践的ツールキット「xFormers」の使用法を紹介しています。記事では、標準的な実装との比較を通じて、因果マスクやパッキングシーケンス、グループ化クエリアテンション（GQA）、カスタムALiBi位置バイアスなどの技術を組み合わせ、訓練可能なGPTスタイルのモデルを実装する方法を解説します。
NVIDIA は CUDA 13.3 をリリースし、C++ でのタイルプログラミング機能の追加、コンパイラの自動調整機能、および Python ライブラリの更新を通じて、GPU 開発効率を向上させました。