PFN、PLaMoベースの日本語報酬モデルを構築

記事の3ポイント

1. 1

   日本語報酬モデルの構築と性能

   PFN は英語選好データを活用してPLaMoベースの日本語報酬モデルを構築し、31Bパラメータで72B参照モデルと同等の精度を達成した。

2. 2

   翻訳バイアスの排除手法

   個別翻訳による比較差異の消失を防ぐため、項目全体を一括翻訳する手法を採用し、3つの独立した翻訳ツールの平均化でバイアスを排除した。

3. 3

   商用ライセンスとデータ選定

   研究限定データの制約を回避するため、NVIDIA の Nemotron-Cascade RLHF データセットなど商用利用可能な英語データを主要原材料として採用した。