ページを読み込み中…
2件の記事
NVIDIAが、LLM学習時のチェックポイント保存コストを削減するPythonスクリプトを公開した。約30行のコードでモデル重み・オプティマイザ状態・勾配の圧縮保存を実現し、ストレージコストとI/O負荷を低減できる。
GoogleはOrbaxとMaxTextに連続チェックポイント機能を導入し、従来の固定頻度チェックポイントの問題を解決して、モデルトレーニング中の信頼性とパフォーマンスのバランスを最適化した。