PFN、PLaMoベースの日本語報酬モデルを構築

Original English version: https://tech.preferred.jp/en/blog/building-a-strong-japanese-reward-model-on-plamo/

PLaMo ベースの強力な日本語報酬モデルの構築

報酬モデルは、生成された回答候補が人間の好みにどれだけ合致しているかを評価する仕組みで、大規模言語モデル（LLM）のアライメントにおいて中核的な役割を果たします。現在公開されているほぼすべての報酬モデルや、それらを評価するためのベンチマークデータセットは英語圏向けに作られています。しかし、日本語を最優先とする環境では、このギャップを埋めることが喫緊の課題となります。優れた日本語報酬モデルを作るには、日本語の特性を正しく評価できる能力が不可欠ですが、現状ではそのためのデータセットやベンチマークがほとんど整備されていません。

本記事では、英語の好みデータをほぼそのまま活用しながら、PLaMo アーキテクチャ上で堅牢な日本語報酬モデルを構築する可能性について論じます。今回の課題の核心は学習プロセスではなく、評価段階にありました。英語のベンチマークを日本語に翻訳して評価を行う必要があるため、この翻訳作業には二つの重大な問題が伴います。第一に、翻訳されたベンチマークでは本来評価すべき重要な特徴が失われてしまう恐れがあることです。第二に、報酬モデルは訓練時に使用した翻訳ツールに対して過度に高いスコアを付けやすいという傾向があります。

そこで、3 つの独立した翻訳ツールの結果を平均化することで、このバイアスを排除し、日本語報酬モデルの品質を評価しました。その結果、31B パラメータのモデルが、72B パラメータの参照モデルと同等の日本語精度を、半分以下のサイズで達成することができました。さらに重要なことに、このモデルは英語環境においても他の公開済みの報酬モデルを上回る性能を示しています。

背景と研究目的

本研究の目的は、英語での性能を犠牲にすることなく構築可能な日本語報酬モデルの開発と、商用利用が許可されたデータで訓練できるモデルの実現でした。ライセンス制約が大きな要因となりました。最も信頼性の高い公開型選好データセットの一部は研究用途限定であるため、これらを利用することはできませんでした。また、高品質な日本語選好データの不足も課題でした。

このため、主要な原材料として英語の選好データを活用せざるを得ず、本プロジェクトは実質的に翻訳問題へと転換しました。すなわち、「豊富な英語選好データから、母語である日本語で訓練したモデルと同等の日本語評価能力を持つ報酬モデルを構築できるか」という課題に取り組むことになったのです。

訓練データの選定においては、商用利用の可否が最大の判断基準となりました。具体的には、NVIDIA が提供する「Nemotron-Cascade RLHF 選好データセット」[15] を採用しました。このデータセットは CC BY 4.0 ライセンスの下で商用利用が可能であり、HelpSteer2[4]、HelpSteer3[5]、WildGuard[6] などといった著名な英語の選好データセットから厳選されたサブセットを含んでいます。

評価には、標準的な報酬ベンチマークである RewardBench[1]、M-RewardBench[3]、RewardBench-2[2] を使用しました。訓練プロセスでは、PLaMo-3[13] の因果関係言語モデルをベースに、出力ヘッドを単一のスカラー値を返すものへ置き換え、Bradley-Terry[10] 型の好み目的関数を用いて最適化を行いました。

英語圏のデータリソースは既存のものですでにほぼ網羅されている一方、日本語版のデータは圧倒的に不足しており、これがその後の研究の方向性を決定づける要因となりました。

日本語評価セットの構築

日本語向けの報酬ベンチマークは依然として不足しています。M-RewardBench には、2 つの応答からより良い方を選ぶペアワイズ形式のデータが含まれていますが、RewardBench-2 ではさらに難易度が高く識別力の高いフォーマットが採用されています。しかし、その日本語版は存在しませんでした。

このデータセットがなければ、特に重要度の高い困難なケースにおける日本語報酬モデルの品質評価を行うことは不可能でした。

そこで私たちは、RewardBench-2 を日本語に翻訳することで独自の「日本語版 RewardBench-2」を構築しました。この作業は通常のローカライゼーションよりも遥かに困難を極めました。なぜなら、選好データセットは単なるテキストの羅列ではなく、「一方の応答（選択された方）が他方の応答（拒否された方）よりも優れている」という明確な比較関係を示すものだからです。

美しく翻訳されただけでは、この比較の核心である「選択」と「拒否」の差異が縮小したり、場合によっては逆転してしまったりするリスクがあります。そのため、翻訳作業においては原文の忠実性を維持し、選択応答と拒否応答の間の差異を正確に保持するとともに、コードや LaTeX 形式などの特殊な表記、各フィールドの完全性、そして項目全体での用語の一貫性を厳密に守る必要がありました。

選好データの翻訳

最初の翻訳試行では、プロンプト、選択応答、拒否応答の各要素をそれぞれ独立した 3 つの依頼として処理しました。結果として各要素は流暢な日本語へと翻訳されましたが、この手法はデータに静かなるダメージを与えていました。

翻訳者が拒否応答のみを単独で確認した場合、本来その応答を劣った選択肢としている具体的な問題点を修正してしまう傾向があり、これにより項目が意図する比較の差異が狭まってしまうのです。つまり、翻訳が流暢であっても意味内容が誤って解釈される可能性があることを示しています。

実際に、あるケースでは「bastard princess」という表現が、「わがまま」と「バスター」という全く異なる意味に翻訳されてしまい、文脈としては流暢でありながら事実上誤りとなっており、自動化チェックでも検出が困難な状態でした。

図1：各項目を個別に翻訳するのではなく、項目全体を一括して翻訳することが重要です。プロンプト、選択応答、拒否応答を別々の依頼として処理すると、翻訳者は共通の文脈を欠くため、同じ原文単語「bastard」がフィールドごとに異なる誤った訳語（バスターやわがままなど）で返される可能性があります。これは制御不能で一貫性に欠ける結果です。一方、単一の一括翻訳では項目全体を一元的に処理できるため、用語を3つのフィールド全体で適切かつ一貫して表現できます（例：私生児）。

項目全体を一括翻訳することでこの問題は解決します。プロンプトと両方の応答を同時に提示することで、翻訳モデルは本来劣った選択肢である応答をそのまま保持し、3つのフィールド全体で同一の用語を使用することが可能になります。この違いは測定可能な形で現れます。私たちは同一のRewardBench-2項目をこの方法で2通り翻訳し、いずれの翻訳も訓練に使用していない報酬モデルで評価しました。その結果、全ての項目で一括翻訳版の方が平均約3ポイント高いスコアを獲得しました（図2）。フィールド別翻訳では選択応答と拒否応答の差異が希薄化されてしまいましたが、一括翻訳ではこの差異が保持されていました。

図2：項目全体を一括翻訳することで選好シグナルが保持されます。同じRewardBench-2項目を、フィールドごとに分割して翻訳した場合と、一括ブロックとして翻訳した場合を比較し、いずれの翻訳も訓練に使用していない報酬モデルで評価したところ、5つのモデルすべてで一括ブロック版の方が高い評価を得ました。

これ以降、私たちはすべての翻訳を一括処理で行うようにし、RewardBench-2の日本語版を3種類作成しました。それぞれ異なる翻訳モデルを使用しています：Gemma 4 31B [12]、Qwen3-235B [11]、および当社独自の日本語翻訳モデル plamo-translate[14] です。（4番目の gpt-oss モデルは、思考過程が出力に漏れたことが判明したため使用を中止しました）。次の明白なステップとして、3 つのモデルの中で最も信頼性の高いものを選択する必要がありました。しかし結果的には、どのモデルも単独では信頼に足るものではないことが判明しました。

自己翻訳バイアス

同じベンチマークに対して 3 種類の翻訳が存在することで、第二の問題が明らかになりました。日本語報酬モデルを評価したところ、日本語スコアは非常に良好に見えましたが、評価セットを作成した翻訳モデルによってスコアが変化することに気付きました。この影響は体系的なもので、各モデルは自身が訓練された翻訳モデルによって作成されたベンチマークで最も高い評価を示しました。Gemma で訓練された混合モデルは Gemma 翻訳版で 85.5 点を獲得しましたが、plamo 翻訳版では 72.1 点に低下しました。Qwen で訓練されたモデルと plamo で訓練されたモデルも、それぞれ自身の翻訳者によるベンチマークで最も高い評価を示しました（図3参照）。

図3：各報酬モデルは、自身が訓練された翻訳者によるベンチマークで最も高い評価を示す。3 種類の PLaMo-3 31B 混合モデル（gemma-mix、qwen-mix、plamo-mix）を、3 種類の日本語翻訳 RewardBench-2 で評価した結果です。いずれのモデルも、訓練に用いた翻訳モデルによるベンチマークで最高スコアを獲得しています。

これは、LLM を評価者とする手法 [7] で既に知られているバイアスの翻訳版です。モデルは自身のスタイルに沿ったテキストを優先的に評価する傾向があります。翻訳者は自身の出力に特徴的なスタイルを残すため、そのスタイルで訓練された報酬モデルはテスト時にも再びそのスタイルを高く評価します。つまり、単一の翻訳済みベンチマークは、日本語報酬モデルの品質を測ると同時に、翻訳モデルの適合度を評価する指標にもなってしまうのです。このため、異なる翻訳文で訓練されたモデルを公平に比較することはできません。

この問題の原因は、解決策にも示唆を与えています。単一の翻訳文は公平な評価基準とはなり得ませんが、3 種類のバイアスが異なる方向に働くため、それらを平均化することで翻訳バイアスを軽減できます。私たちは Gemma、Qwen、Plamo の各翻訳結果について RewardBench-2 の平均精度を算出し、これを「rb2-jp-avg」と定義しました。この指標では、どのモデルも訓練時の翻訳モデルによる有利性を持たず、これらの翻訳文を一切用いずに訓練された公開参照モデルも私たちのモデルと同等の条件で評価されます。以下に示す日本語数値はすべて rb2-jp-avg に基づくものです。

英語と日本語の混合訓練

正直な評価基準を用いることで、訓練方法の最適解が明確になり、同時に意外な結果も得られました。同じ Nemotron-Cascade ペアから構築した 3 種類の訓練データセットを比較しました：英語のみのデータセット（元の英語データ）、日本語のみのデータセット（その PLaMo 翻訳版）、そしてこれらを連結し各ペアが両言語で表示される混合データセットです。

日本語翻訳文のみを用いて訓練する方法は最適な手法とは言えません。この方法では英語の性能が失われ、英語のみで訓練したモデルの精度 81.0% が 73.4% まで低下してしまいます。また、翻訳モデルバイアスを考慮しない測定では、実際に日本語において英語専用モデルを上回る性能を示していませんでした。見かけ上の日本語性能向上は、前節で述べた自己翻訳バイアスによるものでした。このバイアスは対応する翻訳者のベンチマークでのみ現れ、翻訳者を平均化すると消失する現象です。

日本語性能を向上させたのは、英語優先データとその日本語翻訳を混合し、両方のデータセットで訓練する方法でした。この混合手法は、英語専用モデルの英語精度をほぼ完全に維持しつつ、翻訳モデル中立な日本語性能を英語専用ベースラインを上回る水準まで引き上げました。これは両言語で同時に優れた性能を発揮する唯一の設定です（図 4）。

図 4：混合訓練は両言語で優れた性能を達成。PLaMo-3 31B を英語のみ、日本語のみ、または両方で訓練した場合です。英語専用はバランスは取れているものの日本語では最高性能ではなく、日本語専用は英語性能を犠牲にします。一方、混合手法は日本語性能で最高水準を維持しつつ、英語性能も保持しています。

データ量を増やせば必ず性能が向上するわけではありません。7 つの優先データソースを統合しても、最終的には精度が低下するという結果になりました。ベンチマークでの性能向上を決めたのは、データソースの数ではなく、混合データセット内における各ドメインの比率です。報酬モデルの品質は、単なる「データの量」の問題というよりも、「データの構成」の問題として捉える方が適切でした。

最終モデルでは、plamo-translate[14] を用いて Nemotron-Cascade データセットを結合ブロックモードで日本語に翻訳し、英語ソースと混合した上で、31B パラメータの PLaMo をこの混合データで訓練しました。rb2-jp-avg ベンチマークでは、独自開発の参照モデル、NVIDIA の 72B パラメータを持つ Nemotron-Cascade 報酬モデル [15]、公開済みの Skywork-Reward ファミリー [8, 9]（V2 Qwen3-8B モデルおよび Llama-3.1-8B モデル）、さらに先行モデルである Gemma-2-27B や Llama-3.1-8B モデルと比較しました。各ベンチマークごとの詳細な性能比較を図 5 に示します。

図 5：実験結果。RewardBench ファミリーの 6 つのベンチマーク（RewardBench および M-RewardBench〈v1〉、RewardBench-2 および RewardBench-2 JP-avg〈v2〉）における 6 つの報酬モデルの比較です。v1 ベンチマークはほぼ飽和状態にあり、モデル間の明確な差が現れるのは日本語対応の v2 ベンチマークにおいてで、当社の 31B モデルがリードしています。

翻訳モデルに依存しない日本語評価において、当社の 31B モデルは 82.9 というスコアを達成しました。これは 72B パラメータの Nemotron-Cascade 報酬モデル（82.6）とほぼ同等であり、パラメータ数が半分以下であることを考慮すれば測定誤差範囲内の差と言えます。最も性能の高い公開モデルである Skywork-Reward-V2[8, 9] をは約 5 ポイント上回っています（77.9）。これらの数値をモデルサイズに対してプロットすると、その効率性が明らかになります：31B モデルは、パラメータ数の約 40% で 72B モデルと同等の日本語性能を達成しています（図 6）。同様の効率性は訓練データにも表れており、当社のモデルは約 81,000 組の優先データペアで訓練されました。これに対し、Skywork-Reward-V2 は約 4,000 万組 [9] のデータから厳選されたもので、パラメータ数は約 3 桁多い規模です。英語データにおいても、当社モデルは 72B モデル（80.9）と同等の性能を維持しており、v1 ベンチマークでは全てのモデルがほぼ飽和状態となり、モデル間の差は認められなくなりました。

私たちが信頼する結果は日本語ベンチマークにおけるものです。特定の翻訳者に有利にならないよう設計されたベンチマークにおいて、サイズが半分以下のモデルが 72B モデルと肩を並べ、テストした全ての公開モデルを凌駕しているという事実です。

図6：翻訳モデルに依存しない日本語評価（rb2-jp-avg）とモデルサイズの関係。PLaMo-3 31Bミックスモデルは、約81,000組の訓練データを用いることで、パラメータ数を約40%に抑えながら72Bリファレンスモデルと同等の日本語性能を達成しています（点線）。これは公開されている全ての報酬モデルを上回る結果です。

結論

能力の高いPLaMoモデルをベースとしつつ、強力な日本語報酬モデルを構築するには、慎重なデータ処理と誠実な評価が不可欠でした。このプロジェクトから得られた重要な教訓は3つあります。

第一に、選好データの翻訳においては、単なる文言の置き換えではなく、本質的な信号を保持することが重要です。選択された回答と拒否された回答をセットで翻訳するか、あるいはフィールド単位で翻訳すると、意図して符号化しようとした差異が静かに消失してしまう可能性があります。

第二に、機械翻訳されたベンチマークには「自己翻訳バイアス」が存在します。つまり、報酬モデルは自らの翻訳者に対して過度に高いスコアを付与してしまう傾向があります。日本語の報酬品質は単一の翻訳ベンチマークから読み取ることは不可能であり、独立した複数の翻訳モデルによる結果を平均化する必要があります。

第三に、翻訳された日本語データのみで訓練を行うと、英語の学習機会を失う一方で、英語の原文と組み合わせることで日本語性能が向上します。重要なのはデータの構成であり、データ量そのものではありません。

最終的に構築したモデルは、翻訳者に依存しない日本語において72Bリファレンスモデルと同等の性能を発揮するPLaMo-3 31B報酬モデルです。パラメータ数は元の半分以下に抑えつつ、我々がテストした全ての公開報酬モデルを上回っています。英語においても競争力を維持しています。

本評価は利用可能なデータとベンチマークに制約されているため、普遍的な最適解であると主張するものではありません。しかし、公正かつバイアスを制御した測定条件下において、これは強力な日本語報酬モデルであり、その構築手法（一括ブロック翻訳、翻訳モデル中立指標、英語-日本語混合データ）は他の英語データから日本語報酬モデルを構築する試みにも応用可能であると考えられます。

参考文献

[1] Lambert et al. RewardBench: Evaluating Reward Models for Language Modeling. arXiv:2403.13787, 2024.

[2] Malik et al. RewardBench 2: Advancing Reward Model Evaluation. arXiv:2506.01937, 2025.

[3] Gureja et al. M-RewardBench: Evaluating Reward Models in Multilingual Settings. ACL 2025. arXiv:2410.15522, 2024.

[4] Wang et al. HelpSteer2: Open-source Dataset for Training Top-performing Reward Models. arXiv:2406.08673, 2024.

[5] Wang ら。HelpSteer3-Preference：多様なタスクと言語にわたるオープンな人間アノテーション付き選好データ。arXiv:2505.11475, 2025.

[6] Han ら。WildGuard：LLM の安全性リスク、脱獄（ Jailbreak）、拒絶に対するオープンなワンストップのモデレーションツール。NeurIPS 2024。arXiv:2406.18495, 2024.

[7] Panickssery, Bowman, Feng。LLM 評価器は自身の生成物を認識し、好む傾向がある。NeurIPS 2024。arXiv:2404.13076, 2024.

[8] Liu ら。Skywork-Reward：LLM の報酬モデル化における「技の袋（Bag of Tricks）」。arXiv:2410.18451, 2024。対象モデル：Skywork-Reward-Gemma-2-27B-v0.2、Skywork-Reward-Llama-3.1-8B-v0.2。

[9] Liu ら。Skywork-Reward-V2：人間と AI の相乗効果を活用した選好データのカキュレーションの拡張。arXiv:2507.01352, 2025。対象モデル：Skywork-Reward-V2-Qwen3-8B、Skywork-Reward-V2-Llama-3.1-8B。

[10] Bradley, Terry。不完全なブロックデザインのランク分析 I：ペア比較法。Biometrika 39(3/4):324–345, 1952。JSTOR 2334029。

[11] Qwen チーム。Qwen3 技術報告書。arXiv:2505.09388, 2025。

[12] Gemma チーム、Google DeepMind。Gemma 4 モデルカード、2026。ai.google.dev/gemma · HF: google/gemma-4-31B-it。

[13] Preferred Networks & NICT。PLaMo 3。当社の報酬モデルは、内部で公開されたベースモデル「plamo-3-nict-8b-base」および「plamo-3-nict-31b-base」を基に自社でポストトレーニングした PLaMo-3 チェックポイントの上に構築されています。2026。HF: 8B ベース · HF: 31B ベース。

[14] Preferred Networks. *PLaMo Translation Model (plamo-2-translate)*。PLaMo-2-8b をベースに構築された、英語と日本語の翻訳に特化したモデル（パラメータ数 10B）。2025 年公開。Hugging Face: pfnet/plamo-2-translate。

[15] Wang ら著「Nemotron-Cascade：汎用推論モデルのためのカスケード型強化学習の拡張」。arXiv:2512.13607、2025 年。報酬モデルは nvidia/Qwen2.5-CascadeRL-RM-72B を使用。選好データ（NVIDIA 提供、CC BY 4.0 ライセンス、商用利用可）には HelpSteer2/3 および WildGuard から厳選されたサブセットが含まれており、nvidia/Nemotron-Cascade-RL-RLHF で公開されています。

本記事「PLaMo ベースの強い日本語報酬モデルの構築」は、Preferred Networks Tech Blog に最初に掲載されました。