AllenAI、Open Instruct で Tulu 3 のポストトレーニングパイプラインを公開

記事の3ポイント

1. 1

   リソース制約下でのトレーニング実装

   元の Tulu 3 スタックを 16GB のランタイム環境に適合させるため、vLLM や Ray などの分散コンポーネントを軽量な Hugging Face および PyTorch 実装へ置き換えた。

2. 2

   多段階学習パイプラインの構築

   教師あり微調整（SFT）、直接選好最適化（DPO）、検証可能な報酬を用いた強化学習（GRPO）という 3 つの主要なトレーニングステージを順次実行するエンドツーエンドのワークフローを提供した。

3. 3

   数学的推論能力の評価手法

   GSM8K データセットを用いて各学習ステージを準備し、生成された数式回答に対して決定論的な検証器（deterministic verifiers）を使用して評価を行う仕組みを組み込んだ。