ページを読み込み中…
ページを読み込み中…
3件の記事
Hugging Face は、Surya Narreddi氏が公開した言語モデルが JavaScript で水彩画を描く動画を紹介し、TRL と OpenEnv を活用した同様のモデルを訓練する手法について解説した。
Anthropic HH-RLHF データセットを用いて、TRL と LoRA で直接選好最適化（DPO）を適用するエンドツーエンドのワークフローを解説。
TRL は非同期強化学習において、変更されたモデルパラメータのみを送信する「デルタ重み同期」手法を導入し、データ転送量をギガバイトからメガバイトに削減した。また、Hugging Face Hub のバケット機能を活用して学習器と推論エンジンの通信を分離し、帯域幅の大幅な節約を実現した。