Anthropic HH-RLHF データの選好バイアス監査と DPO 微調整

記事の3ポイント

1. 1

   データセットのバイアス監査と診断

   Anthropic HH-RLHF データセットに対して構造的および長さに基づく選好バイアスを調査し、表面的な言語パターンが応答の選別を可能にするか検証する。

2. 2

   DPO トレーニングパイプラインの構築

   TRL と LoRA を活用してバージョン耐性のある直接選好最適化（DPO）トレーニングパイプラインを構築し、トークナイザー認識型の長さフィルタリングを実装する。

3. 3

   Qwen2.5 モデルのファインチューニングと評価

   Qwen2.5-0.5B-Instruct モデルを学習させ、報酬精度やトレーニング挙動、個々のデータセットサブセットにおける性能を分析する。