PFN、PLaMoベースの日本語報酬モデルを構築
Preferred Networks は、英語データを基に堅牢な日本語報酬モデルを構築する手法を開発し、31B パラメータで 72B モデルと同等の精度を実現した。
キーポイント
日本語報酬モデルのデータギャップ解消
高品質な日本語選好データの不足に対し、商用利用可能な英語データセット（Nemotron-Cascade）を基盤としつつ、母語評価能力を持つモデル構築を目指す。
翻訳バイアスの排除と評価手法の革新
個別翻訳による意味の崩壊やツール依存バイアスを防ぐため、項目全体を一括翻訳し、3 つの独立した翻訳ツールの結果を平均化する評価プロセスを採用。
高効率なモデル性能の実証
PLaMo アーキテクチャ上で 31B パラメータのモデルが構築され、72B の参照モデルと同等の日本語精度を達成し、英語環境でも既存モデルを上回る性能を示した。
一括翻訳による選好シグナルの保持
項目全体を一括して翻訳することで、フィールド別翻訳よりも選好シグナル（選択と拒答の差異）が明確に保持され、報酬モデルの評価スコアが約3ポイント向上した。
翻訳バイアスの平均化による公平な評価
単一の翻訳モデルは訓練スタイルへのバイアスを生むため、Gemma、Qwen、自社モデルの3種類を平均化した指標（rb2-jp-avg）を用いることで、翻訳依存性を排除し公平な比較が可能となった。
英語と日本語の混合訓練が最適解
日本語のみでの訓練は英語性能を低下させる一方、英語データとその翻訳データを混合して訓練することで、両言語において最高水準かつバランスの取れた性能を発揮した。
高効率な日本語報酬モデルの構築
PLaMo-3 31Bモデルは、約81,000組のデータで訓練され、パラメータ数が72Bモデルの約40%であるにもかかわらず、同等以上の日本語評価性能を達成し、公開済みモデルを上回りました。
重要な引用
報酬モデルは訓練時に使用した翻訳ツールに対して過度に高いスコアを付ける傾向があります
31B パラメータのモデルが、72B パラメータの参照モデルと同等の日本語精度を半分以下のサイズで達成しました
フィールド別翻訳では選択応答と拒否応答の差異が希薄化されてしまいましたが、一括翻訳ではこの差異が保持されていました。
日本語性能を向上させたのは、英語優先データとその日本語翻訳を混合し、両方のデータセットで訓練する方法でした。
「特定の翻訳者に有利にならないよう設計されたベンチマークにおいて、サイズが半分以下のモデルが72Bモデルと肩を並べ、テストした全ての公開モデルを凌駕しているという事実です。」
「重要なのはデータの構成であり、データ量そのものではありません。」
影響分析・編集コメントを表示
影響分析
この研究は、非英語圏における LLM アライメントのボトルネックである「高品質な評価データの不足」に対する実用的な解決策を示しています。特に、翻訳プロセス自体がバイアス要因となる点を特定し、それを排除する手法を提案した点は、今後の多言語 AI 開発における標準的なベストプラクティスとして広く採用される可能性があります。
編集コメント
翻訳バイアスを排除するための「複数ツール平均化」という評価手法は、単なるデータローカライゼーションを超えた技術的洞察であり、非英語圏 AI 開発の質を高める重要な指針となります。また、商用ライセンス制約下で高性能モデルを構築した事例は、実務におけるデータ選定の重要性を再認識させる内容です。
本記事は、PFNの2025年度夏インターンシップにパートタイムで参加し、執筆にご協力いただいたBoming Yangさんによる寄稿です。元々は英語版として公開された記事を日本語読者向けに再構成したものです。
Original English version: https://tech.preferred.jp/en/blog/building-a-strong-japanese-reward-model-on-plamo/
PLaMo ベースの強力な日本語報酬モデルの構築
報酬モデルは、生成された回答候補が人間の好みにどれだけ合致しているかを評価する仕組みで、大規模言語モデル（LLM）のアライメントにおいて中核的な役割を果たします。現在公開されているほぼすべての報酬モデルや、それらを評価するためのベンチマークデータセットは英語圏向けに作られています。しかし、日本語を最優先とする環境では、このギャップを埋めることが喫緊の課題となります。優れた日本語報酬モデルを作るには、日本語の特性を正しく評価できる能力が不可欠ですが、現状ではそのためのデータセットやベンチマークがほとんど整備されていません。
本記事では、英語の好みデータをほぼそのまま活用しながら、PLaMo アーキテクチャ上で堅牢な日本語報酬モデルを構築する可能性について論じます。今回の課題の核心は学習プロセスではなく、評価段階にありました。英語のベンチマークを日本語に翻訳して評価を行う必要があるため、この翻訳作業には二つの重大な問題が伴います。第一に、翻訳されたベンチマークでは本来評価すべき重要な特徴が失われてしまう恐れがあることです。第二に、報酬モデルは訓練時に使用した翻訳ツールに対して過度に高いスコアを付けやすいという傾向があります。
そこで、3 つの独立した翻訳ツールの結果を平均化することで、このバイアスを排除し、日本語報酬モデルの品質を評価しました。その結果、31B パラメータのモデルが、72B パラメータの参照モデルと同等の日本語精度を、半分以下のサイズで達成することができました。さらに重要なことに、このモデルは英語環境においても他の公開済みの報酬モデルを上回る性能を示しています。
背景と研究目的
本研究の目的は、英語での性能を犠牲にすることなく構築可能な日本語報酬モデルの開発と、商用利用が許可されたデータで訓練できるモデルの実現でした。ライセンス制約が大きな要因となりました。最も信頼性の高い公開型選好データセットの一部は研究用途限定であるため、これらを利用することはできませんでした。また、高品質な日本語選好データの不足も課題でした。
このため、主要な原材料として英語の選好データを活用せざるを得ず、本プロジェクトは実質的に翻訳問題へと転換しました。すなわち、「豊富な英語選好データから、母語である日本語で訓練したモデルと同等の日本語評価能力を持つ報酬モデルを構築できるか」という課題に取り組むことになったのです。
訓練データの選定においては、商用利用の可否が最大の判断基準となりました。具体的には、NVIDIA が提供する「Nemotron-Cascade RLHF 選好データセット」[15] を採用しました。このデータセットは CC BY 4.0 ライセンスの下で商用利用が可能であり、HelpSteer2[4]、HelpSteer3[5]、WildGuard[6] などといった著名な英語の選好データセットから厳選されたサブセットを含んでいます。
評価には、標準的な報酬ベンチマークである RewardBench[1]、M-RewardBench[3]、RewardBench-2[2] を使用しました。訓練プロセスでは、PLaMo-3[13] の因果関係言語モデルをベースに、出力ヘッドを単一のスカラー値を返すものへ置き換え、Bradley-Terry[10] 型の好み目的関数を用いて最適化を行いました。
英語圏のデータリソースは既存のものですでにほぼ網羅されている一方、日本語版のデータは圧倒的に不足しており、これがその後の研究の方向性を決定づける要因となりました。
日本語評価セットの構築
日本語向けの報酬ベンチマークは依然として不足しています。M-RewardBench には、2 つの応答からより良い方を選ぶペアワイズ形式のデータが含まれていますが、RewardBench-2 ではさらに難易度が高く識別力の高いフォーマットが採用されています。しかし、その日本語版は存在しませんでした。
このデータセットがなければ、特に重要度の高い困難なケースにおける日本語報酬モデルの品質評価を行うことは不可能でした。
そこで私たちは、RewardBench-2 を日本語に翻訳することで独自の「日本語版 RewardBench-2」を構築しました。この作業は通常のローカライゼーションよりも遥かに困難を極めました。なぜなら、選好データセットは単なるテキストの羅列ではなく、「一方の応答（選択された方）が他方の応答（拒否された方）よりも優れている」という明確な比較関係を示すものだからです。
美しく翻訳されただけでは、この比較の核心である「選択」と「拒否」の差異が縮小したり、場合によっては逆転してしまったりするリスクがあります。そのため、翻訳作業においては原文の忠実性を維持し、選択応答と拒否応答の間の差異を正確に保持するとともに、コードや LaTeX 形式などの特殊な表記、各フィールドの完全性、そして項目全体での用語の一貫性を厳密に守る必要がありました。
選好データの翻訳
最初の翻訳試行では、プロンプト、選択応答、拒否応答の各要素をそれぞれ独立した 3 つの依頼として処理しました。結果として各要素は流暢な日本語へと翻訳されましたが、この手法はデータに静かなるダメージを与えていました。
翻訳者が拒否応答のみを単独で確認した場合、本来その応答を劣った選択肢としている具体的な問題点を修正してしまう傾向があり、これにより項目が意図する比較の差異が狭まってしまうのです。つまり、翻訳が流暢であっても意味内容が誤って解釈される可能性があることを示しています。
実際に、あるケースでは「bastard princess」という表現が、「わがまま」と「バスター」という全く異なる意味に翻訳されてしまい、文脈としては流暢でありながら事実上誤りとなっており、自動化チェックでも検出が困難な状態でした。
図1：各項目を個別に翻訳するのではなく、項目全体を一括して翻訳することが重要です。プロンプト、選択応答、拒否応答を別々の依頼として処理すると、翻訳者は共通の文脈を欠くため、同じ原文単語「bastard」がフィールドごとに異なる誤った訳語（バスターやわがままなど）で返される可能性があります。これは制御不能で一貫性に欠ける結果です。一方、単一の一括翻訳では項目全体を一元的に処理できるため、用語を3つのフィールド全体で適切かつ一貫して表現できます（例：私生児）。
項目全体を一括翻訳することでこの問題は解決します。プロンプトと両方の応答を同時に提示することで、翻訳モデルは本来劣った選択肢である応答をそのまま保持し、3つのフィールド全体で同一の用語を使用することが可能になります。この違いは測定可能な形で現れます。私たちは同一のRewardBench-2項目をこの方法で2通り翻訳し、いずれの翻訳も訓練に使用していない報酬モデルで評価しました。その結果、全ての項目で一括翻訳版の方が平均約3ポイント高いスコアを獲得しました（図2）。フィールド別翻訳では選択応答と拒否応答の差異が希薄化されてしまいましたが、一括翻訳ではこの差異が保持されていました。
図2：項目全体を一括翻訳することで選好シグナルが保持されます。同じRewardBench-2項目を、フィールドごとに分割して翻訳した場合と、一括ブロックとして翻訳した場合を比較し、いずれの翻訳も訓練に使用していない報酬モデルで評価したところ、5つのモデルすべてで一括ブロック版の方が高い評価を得ました。
これ以降、私たちはすべての翻訳を一括処理で行うようにし、RewardBench-2の日本語版を3種類作成しました。それぞれ異なる翻訳モデルを使用しています：Gemma 4 31B [12]、Qwen3-235B [11]、および当社独自の日本語翻訳モデル plamo-translate[14] です。（4番目の gpt-oss モデルは、思考過程が出力に漏れたことが判明したため使用を中止しました）。次の明白なステップとして、3 つのモデルの中で最も信頼性の高いものを選択する必要がありました。しかし結果的には、どのモデルも単独では信頼に足るものではないことが判明しました。
自己翻訳バイアス
同じベンチマークに対して 3 種類の翻訳が存在することで、第二の問題が明らかになりました。日本語報酬モデルを評価したところ、日本語スコアは非常に良好に見えましたが、評価セットを作成した翻訳モデルによってスコアが変化することに気付きました。この影響は体系的なもので、各モデルは自身が訓練された翻訳モデルによって作成されたベンチマークで最も高い評価を示しました。Gemma で訓練された混合モデルは Gemma 翻訳版で 85.5 点を獲得しましたが、plamo 翻訳版では 72.1 点に低下しました。Qwen で訓練されたモデルと plamo で訓練されたモデルも、それぞれ自身の翻訳者によるベンチマークで最も高い評価を示しました（図3参照）。
図3：各報酬モデルは、自身が訓練された翻訳者によるベンチマークで最も高い評価を示す。3 種類の PLaMo-3 31B 混合モデル（gemma-mix、qwen-mix、plamo-mix）を、3 種類の日本語翻訳 RewardBench-2 で評価した結果です。いずれのモデルも、訓練に用いた翻訳モデルによるベンチマークで最高スコアを獲得しています。
これは、LLM を評価者とする手法 [7] で既に知られているバイアスの翻訳版です。モデルは自身のスタイルに沿ったテキストを優先的に評価する傾向があります。翻訳者は自身の出力に特徴的なスタイルを残すため、そのスタイルで訓練された報酬モデルはテスト時にも再びそのスタイルを高く評価します。つまり、単一の翻訳済みベンチマークは、日本語報酬モデルの品質を測ると同時に、翻訳モデルの適合度を評価する指標にもなってしまうのです。このため、異なる翻訳文で訓練されたモデルを公平に比較することはできません。
この問題の原因は、解決策にも示唆を与えています。単一の翻訳文は公平な評価基準とはなり得ませんが、3 種類のバイアスが異なる方向に働くため、それらを平均化することで翻訳バイアスを軽減できます。私たちは Gemma、Qwen、Plamo の各翻訳結果について RewardBench-2 の平均精度を算出し、これを「rb2-jp-avg」と定義しました。この指標では、どのモデルも訓練時の翻訳モデルによる有利性を持たず、これらの翻訳文を一切用いずに訓練された公開参照モデルも私たちのモデルと同等の条件で評価されます。以下に示す日本語数値はすべて rb2-jp-avg に基づくものです。
英語と日本語の混合訓練
正直な評価基準を用いることで、訓練方法の最適解が明確になり、同時に意外な結果も得られました。同じ Nemotron-Cascade ペアから構築した 3 種類の訓練データセットを比較しました：英語のみのデータセット（元の英語データ）、日本語のみのデータセット（その PLaMo 翻訳版）、そしてこれらを連結し各ペアが両言語で表示される混合データセットです。
日本語翻訳文のみを用いて訓練する方法は最適な手法とは言えません。この方法では英語の性能が失われ、英語のみで訓練したモデルの精度 81.0% が 73.4% まで低下してしまいます。また、翻訳モデルバイアスを考慮しない測定では、実際に日本語において英語専用モデルを上回る性能を示していませんでした。見かけ上の日本語性能向上は、前節で述べた自己翻訳バイアスによるものでした。このバイアスは対応する翻訳者のベンチマークでのみ現れ、翻訳者を平均化すると消失する現象です。
日本語性能を向上させたのは、英語優先データとその日本語翻訳を混合し、両方のデータセットで訓練する方法でした。この混合手法は、英語専用モデルの英語精度をほぼ完全に維持しつつ、翻訳モデル中立な日本語性能を英語専用ベースラインを上回る水準まで引き上げました。これは両言語で同時に優れた性能を発揮する唯一の設定です（図 4）。
図 4：混合訓練は両言語で優れた性能を達成。PLaMo-3 31B を英語のみ、日本語のみ、または両方で訓練した場合です。英語専用はバランスは取れているものの日本語では最高性能ではなく、日本語専用は英語性能を犠牲にします。一方、混合手法は日本語性能で最高水準を維持しつつ、英語性能も保持しています。
データ量を増やせば必ず性能が向上するわけではありません。7 つの優先データソースを統合しても、最終的には精度が低下するという結果になりました。ベンチマークでの性能向上を決めたのは、データソースの数ではなく、混合データセット内における各ドメインの比率です。報酬モデルの品質は、単なる「データの量」の問題というよりも、「データの構成」の問題として捉える方が適切でした。
最終モデルでは、plamo-translate[14] を用いて Nemotron-Cascade データセットを結合ブロックモードで日本語に翻訳し、英語ソースと混合した上で、31B パラメータの PLaMo をこの混合データで訓練しました。rb2-jp-avg ベンチマークでは、独自開発の参照モデル、NVIDIA の 72B パラメータを持つ Nemotron-Cascade 報酬モデル [15]、公開済みの Skywork-Reward ファミリー [8, 9]（V2 Qwen3-8B モデルおよび Llama-3.1-8B モデル）、さらに先行モデルである Gemma-2-27B や Llama-3.1-8B モデルと比較しました。各ベンチマークごとの詳細な性能比較を図 5 に示します。
図 5：実験結果。RewardBench ファミリーの 6 つのベンチマーク（RewardBench および M-RewardBench〈v1〉、RewardBench-2 および RewardBench-2 JP-avg〈v2〉）における 6 つの報酬モデルの比較です。v1 ベンチマークはほぼ飽和状態にあり、モデル間の明確な差が現れるのは日本語対応の v2 ベンチマークにおいてで、当社の 31B モデルがリードしています。
翻訳モデルに依存しない日本語評価において、当社の 31B モデルは 82.9 というスコアを達成しました。これは 72B パラメータの Nemotron-Cascade 報酬モデル（82.6）とほぼ同等であり、パラメータ数が半分以下であることを考慮すれば測定誤差範囲内の差と言えます。最も性能の高い公開モデルである Skywork-Reward-V2[8, 9] をは約 5 ポイント上回っています（77.9）。これらの数値をモデルサイズに対してプロットすると、その効率性が明らかになります：31B モデルは、パラメータ数の約 40% で 72B モデルと同等の日本語性能を達成しています（図 6）。同様の効率性は訓練データにも表れており、当社のモデルは約 81,000 組の優先データペアで訓練されました。これに対し、Skywork-Reward-V2 は約 4,000 万組 [9] のデータから厳選されたもので、パラメータ数は約 3 桁多い規模です。英語データにおいても、当社モデルは 72B モデル（80.9）と同等の性能を維持しており、v1 ベンチマークでは全てのモデルがほぼ飽和状態となり、モデル間の差は認められなくなりました。
私たちが信頼する結果は日本語ベンチマークにおけるものです。特定の翻訳者に有利にならないよう設計されたベンチマークにおいて、サイズが半分以下のモデルが 72B モデルと肩を並べ、テストした全ての公開モデルを凌駕しているという事実です。
図6：翻訳モデルに依存しない日本語評価（rb2-jp-avg）とモデルサイズの関係。PLaMo-3 31Bミックスモデルは、約81,000組の訓練データを用いることで、パラメータ数を約40%に抑えながら72Bリファレンスモデルと同等の日本語性能を達成しています（点線）。これは公開されている全ての報酬モデルを上回る結果です。
結論
能力の高いPLaMoモデルをベースとしつつ、強力な日本語報酬モデルを構築するには、慎重なデータ処理と誠実な評価が不可欠でした。このプロジェクトから得られた重要な教訓は3つあります。
第一に、選好データの翻訳においては、単なる文言の置き換えではなく、本質的な信号を保持することが重要です。選択された回答と拒否された回答をセットで翻訳するか、あるいはフィールド単位で翻訳すると、意図して符号化しようとした差異が静かに消失してしまう可能性があります。
第二に、機械翻訳されたベンチマークには「自己翻訳バイアス」が存在します。つまり、報酬モデルは自らの翻訳者に対して過度に高いスコアを付与してしまう傾向があります。日本語の報酬品質は単一の翻訳ベンチマークから読み取ることは不可能であり、独立した複数の翻訳モデルによる結果を平均化する必要があります。
第三に、翻訳された日本語データのみで訓練を行うと、英語の学習機会を失う一方で、英語の原文と組み合わせることで日本語性能が向上します。重要なのはデータの構成であり、データ量そのものではありません。
最終的に構築したモデルは、翻訳者に依存しない日本語において72Bリファレンスモデルと同等の性能を発揮するPLaMo-3 31B報酬モデルです。パラメータ数は元の半分以下に抑えつつ、我々がテストした全ての公開報酬モデルを上回っています。英語においても競争力を維持しています。
本評価は利用可能なデータとベンチマークに制約されているため、普遍的な最適解であると主張するものではありません。しかし、公正かつバイアスを制御した測定条件下において、これは強力な日本語報酬モデルであり、その構築手法（一括ブロック翻訳、翻訳モデル中立指標、英語-日本語混合データ）は他の英語データから日本語報酬モデルを構築する試みにも応用可能であると考えられます。
参考文献
[1] Lambert et al. RewardBench: Evaluating Reward Models for Language Modeling. arXiv:2403.13787, 2024.
[2] Malik et al. RewardBench 2: Advancing Reward Model Evaluation. arXiv:2506.01937, 2025.
[3] Gureja et al. M-RewardBench: Evaluating Reward Models in Multilingual Settings. ACL 2025. arXiv:2410.15522, 2024.
[4] Wang et al. HelpSteer2: Open-source Dataset for Training Top-performing Reward Models. arXiv:2406.08673, 2024.
[5] Wang ら。HelpSteer3-Preference：多様なタスクと言語にわたるオープンな人間アノテーション付き選好データ。arXiv:2505.11475, 2025.
[6] Han ら。WildGuard：LLM の安全性リスク、脱獄（ Jailbreak）、拒絶に対するオープンなワンストップのモデレーションツール。NeurIPS 2024。arXiv:2406.18495, 2024.
[7] Panickssery, Bowman, Feng。LLM 評価器は自身の生成物を認識し、好む傾向がある。NeurIPS 2024。arXiv:2404.13076, 2024.
[8] Liu ら。Skywork-Reward：LLM の報酬モデル化における「技の袋（Bag of Tricks）」。arXiv:2410.18451, 2024。対象モデル：Skywork-Reward-Gemma-2-27B-v0.2、Skywork-Reward-Llama-3.1-8B-v0.2。
[9] Liu ら。Skywork-Reward-V2：人間と AI の相乗効果を活用した選好データのカキュレーションの拡張。arXiv:2507.01352, 2025。対象モデル：Skywork-Reward-V2-Qwen3-8B、Skywork-Reward-V2-Llama-3.1-8B。
[10] Bradley, Terry。不完全なブロックデザインのランク分析 I：ペア比較法。Biometrika 39(3/4):324–345, 1952。JSTOR 2334029。
[11] Qwen チーム。Qwen3 技術報告書。arXiv:2505.09388, 2025。
[12] Gemma チーム、Google DeepMind。Gemma 4 モデルカード、2026。ai.google.dev/gemma · HF: google/gemma-4-31B-it。
[13] Preferred Networks & NICT。PLaMo 3。当社の報酬モデルは、内部で公開されたベースモデル「plamo-3-nict-8b-base」および「plamo-3-nict-31b-base」を基に自社でポストトレーニングした PLaMo-3 チェックポイントの上に構築されています。2026。HF: 8B ベース · HF: 31B ベース。
[14] Preferred Networks. *PLaMo Translation Model (plamo-2-translate)*。PLaMo-2-8b をベースに構築された、英語と日本語の翻訳に特化したモデル（パラメータ数 10B）。2025 年公開。Hugging Face: pfnet/plamo-2-translate。
[15] Wang ら著「Nemotron-Cascade：汎用推論モデルのためのカスケード型強化学習の拡張」。arXiv:2512.13607、2025 年。報酬モデルは nvidia/Qwen2.5-CascadeRL-RM-72B を使用。選好データ（NVIDIA 提供、CC BY 4.0 ライセンス、商用利用可）には HelpSteer2/3 および WildGuard から厳選されたサブセットが含まれており、nvidia/Nemotron-Cascade-RL-RLHF で公開されています。
本記事「PLaMo ベースの強い日本語報酬モデルの構築」は、Preferred Networks Tech Blog に最初に掲載されました。
原文を表示
本記事は、PFNの2025年度夏インターンシップに参加し、パートタイムで勤務していただいたBoming Yangさんの寄稿によるもので、英語版記事の日本語翻訳版です。
Original English version: https://tech.preferred.jp/en/blog/building-a-strong-japanese-reward-model-on-plamo/
PLaMoベースの強い日本語報酬モデルの構築
報酬モデルとは、生成された応答候補が人間の好みにどの程度合致しているかを評価する仕組みであり、LLMのアライメントにおいて中核的な要素の一つです。現在公開されているほぼすべての報酬モデル、およびそれらを評価するためのベンチマークデータセットは、主に英語向けに構築されています。日本語を最優先とする環境においては、このギャップを埋めることが重要な課題となります。優れた日本語報酬モデルを構築するには、日本語の特性を適切に評価できる能力が不可欠ですが、そのようなモデルの構築・評価に必要なデータセットやベンチマークはほとんど整備されていないのが現状です。
本記事では、英語の好みデータをほぼ完全に活用しつつ、PLaMoアーキテクチャ上で堅牢な日本語報酬モデルを構築する上での可能性について論じます。課題の核心は学習プロセスではなく、評価段階にありました。英語のベンチマークを日本語に翻訳して評価を行う必要があり、この翻訳作業には二つの重大な問題が伴いました。第一に、翻訳されたベンチマークは本来評価すべき重要な特徴を失ってしまう可能性があることです。第二に、報酬モデルは訓練時に使用した翻訳ツールに対して過度に高いスコアを付ける傾向があります。そこで、3つの独立した翻訳ツールで平均化することでこの第二のバイアスを排除し、日本語報酬モデルの品質を評価すると、31Bパラメータのモデルが、72Bパラメータの参照モデルと同等の日本語精度を半分以下のサイズで達成しました。さらに重要なことに、このモデルは英語環境においても他の公開済み報酬モデルを凌駕する性能を示しています。
背景と研究目的
本研究の目的は、英語性能を犠牲にすることなく構築可能な日本語報酬モデルを開発することであり、かつ商用利用が許可されたデータで訓練可能なモデルを実現することでした。ライセンス制約が重要な要因となりました。最も信頼性の高い公開型選好データセットのいくつかは研究用途限定であるため、これらを利用することは不可能でした。また、高品質な日本語選好データも不足していました。このため、主要な原材料として英語の選好データを活用せざるを得なくなり、本プロジェクトは本質的に翻訳問題へと転換しました。すなわち、豊富な英語選好データから、母語である日本語データで訓練したモデルと同等の日本語評価能力を持つ報酬モデルを構築することが可能かどうかという課題に取り組むことになったのです。
訓練データに関しては、商用利用制限が主要な選択基準となりました。具体的には、NVIDIA社が提供するNemotron-Cascade RLHF選好データセット[15]を使用しました。このデータセットはCC BY 4.0ライセンスの下で商用利用が許可されており、著名な英語選好データセット群（HelpSteer2[4]、HelpSteer3[5]、WildGuard[6]など）の厳選されたサブセットを含んでいます。評価には、標準的な報酬ベンチマーク（RewardBench[1]、M-RewardBench[3]、RewardBench-2[2]）を採用しました。訓練プロセスでは、PLaMo-3[13]の因果関係言語モデルをベースとし、出力ヘッドを単一のスカラーヘッドに置き換えた上で、Bradley-Terry[10]好み目的関数を用いて最適化を行いました。英語側のデータリソースは既存のものでほぼ網羅されていましたが、日本語側のデータは不足しており、これがその後の研究展開の方向性を決定づける要因となりました。
日本語評価セットの構築
日本語向け報酬ベンチマークは依然として不足しています。M-RewardBenchには2つの応答からより良い方を選択するペアワイズ形式のデータが含まれていますが、RewardBench-2ではより難易度が高く識別力の高いフォーマットが採用されており、日本語バージョンは存在しませんでした。このデータセットがなければ、特に重要度の高い困難なケースにおける日本語報酬の品質評価は不可能でした。
そこで私たちは、RewardBench-2を日本語に翻訳することで独自の日本語RewardBench-2を構築しました。この作業は通常のローカライゼーションよりも困難でした。なぜなら、選好データセットは単なるテキストではなく、各アイテムが「一方の応答（選択された応答）が他方の応答（拒否された応答）よりも優れている」という明確な比較関係を示しているからです。単に美しく翻訳されただけでは、この比較の核心部分である「選択」と「拒否」の差異が縮小または逆転してしまう可能性があります。したがって、翻訳作業では原文の忠実性を維持し、選択応答と拒否応答の間の差異を正確に保持するとともに、コードやLaTeX形式などの特殊な表記、各フィールドの完全性、そして項目全体での用語の一貫性を厳密に守る必要がありました。
選好データの翻訳
最初の翻訳試行では、プロンプト、選択応答、拒否応答の各要素をそれぞれ独立した3つの翻訳依頼として処理しました。各要素は流暢な日本語に翻訳されましたが、この翻訳方法はデータに静かにダメージを与えていました。翻訳者が拒否応答のみを単独で確認した場合、本来その応答を劣った選択肢としている具体的な問題点を修正してしまう傾向があり、これにより項目が意図する比較の差異が狭まってしまうのです。この問題は、翻訳が流暢であっても意味内容が誤って解釈される可能性があることも意味します。実際に、あるケースでは「bastard princess」という表現が「わがまま」と「バスター」という全く異なる意味に翻訳されてしまい、流暢でありながら誤りであり、自動化チェックでは検出が困難な状態となっていました。
図1：各フィールドを個別に翻訳するのではなく、項目全体を一括して翻訳することが重要です。プロンプト、選択応答、拒否応答を別々の翻訳依頼として処理すると、翻訳者は共通の文脈を欠くため、同じ原文単語「bastard」が各フィールドで異なる誤った訳語（バスター / わがまま）として返される可能性があり（制御不能で一貫性に欠ける）、単一の一括翻訳では項目全体を一元的に処理し、用語を3つのフィールド全体で一貫して適切に表現できます（私生児）。
項目全体を一括翻訳することでこの問題は解決します。プロンプトと両方の応答が提示することで、翻訳モデルは本来劣った選択肢である応答をそのまま保持し、3つのフィールド全体で同一の用語を使用します。この違いは測定可能な形で現れます。私たちは同一のRewardBench-2項目をこの方法で2通り翻訳し、いずれの翻訳も訓練に使用していない報酬モデルで評価しました。その結果、全ての項目で一括翻訳版の方が平均約3ポイント高いスコアを獲得しました（図2）。フィールド別翻訳では選択応答と拒否応答の差異が希薄化されてしまいましたが、一括翻訳ではこの差異が保持されていました。
図2：項目全体を一括翻訳することで選好シグナルが保持されます。同じRewardBench-2項目を、フィールドごとに分割して翻訳した場合と、一括ブロックとして翻訳した場合を比較し、いずれの翻訳も訓練に使用していない報酬モデルで評価したところ、5つのモデルすべてで一括ブロック版の方が高い評価を得ました。
これ以降、私たちはすべての翻訳を一括処理で行うようにし、RewardBench-2の日本語版を3種類作成しました。それぞれ異なる翻訳モデルを使用しています：Gemma 4 31B [12]、Qwen3-235B [11]、および当社独自の日本語翻訳モデルplamo-translate[14]です。（4番目のgpt-ossモデルは、思考過程が出力に漏れたことが判明したため使用を中止しました）。次の明白なステップとして、3つのモデルの中で最も信頼性の高いものを選択する必要がありました。しかし結果的には、どのモデルも単独では信頼に足るものではないことが判明しました。
自己翻訳バイアス
同じベンチマークに対して3種類の翻訳が存在することで、第二の問題が明らかになりました。日本語報酬モデルを評価したところ、日本語スコアは非常に良好に見えましたが、評価セットを作成した翻訳モデルによってスコアが変化することに気付きました。この影響は体系的なもので、各モデルは自身が訓練された翻訳モデルによって作成されたベンチマークで最も高い評価を示しました。Gemmaで訓練された混合モデルはGemma翻訳版で85.5点を獲得しましたが、plamo翻訳版では72.1点に低下しました。Qwenで訓練されたモデルとplamoで訓練されたモデルも、それぞれ自身の翻訳者によるベンチマークで最も高い評価を示しました（図3参照）。
図3：各報酬モデルは、自身が訓練された翻訳者によるベンチマークで最も高い評価を示す。3種類のPLaMo-3 31B混合モデル（gemma-mix、qwen-mix、plamo-mix）の、3種類の日本語翻訳RewardBench-2の評価結果結果。いずれも、訓練に用いた翻訳モデルによるベンチマークで最も高い評価を獲得している。
これは、LLMを評価者とする評価手法[7]で既に知られているバイアスの翻訳版です。モデルは自身のスタイルに沿ったテキストを優先的に評価する傾向があります。翻訳者は自身の出力に特徴的なスタイルを残すため、このスタイルで訓練された報酬モデルはテスト時にも再びそのスタイルを高く評価します。つまり、単一の翻訳済みベンチマークは、日本語報酬モデルの品質を測ると同時に、翻訳モデルの適合度を評価する指標にもなります。このため、異なる翻訳文で訓練されたモデルを公平に比較することはできません。
この問題の原因は、解決策にも示唆を与えています。単一の翻訳文は公平な評価基準とはなり得ませんが、3種類のバイアスが異なる方向に働くため、それらを平均化することで翻訳バイアスを軽減できます。私たちはGemma、Qwen、plamoの各翻訳結果についてRewardBench-2の平均精度を算出し、これをrb2-jp-avgと定義します。この指標では、どのモデルも訓練時の翻訳モデルによる有利性を持たず、これらの翻訳文を一切用いずに訓練された公開参照モデルも私たちのモデルと同等の条件で評価されます。以下に示す日本語数値はすべてrb2-jp-avgに基づくものです。
英語と日本語の混合訓練
正直な評価基準を用いることで、訓練方法の最適解が明確になり、同時に意外な結果も得られました。同じNemotron-Cascadeペアから構築した3種類の訓練データセットを比較しました：英語のみのデータセット、元の英語データ；日本語のみのデータセット、そのplamo翻訳版；そしてこれらを連結し、各ペアが両言語で表示される混合データセットです。日本語翻訳文のみを用いて訓練する方法は最適な手法とは言えません。この方法では英語の性能が失われ、英語のみで訓練したモデルの81.0%という精度が、73.4%まで低下してしまいます。また、翻訳モデルバイアスを考慮しない測定では、実際に日本語において英語専用モデルを上回る性能を示していません。見かけ上の日本語性能向上は、前節で述べた自己翻訳バイアスによるものでした。このバイアスは対応する翻訳者のベンチマークでのみ現れ、翻訳者を平均化すると消失する現象でした。
日本語性能を向上させたのは、英語優先データとその日本語翻訳を混合し、両方のデータセットで訓練する方法でした。この混合手法は、英語専用モデルの英語精度をほぼ完全に維持しつつ、翻訳モデル中立な日本語性能を英語専用ベースラインを上回る水準まで向上させました。これは両言語で同時に優れた性能を発揮する唯一の設定でした（図4）。
図4：混合訓練は両言語で優れた性能を達成。PLaMo-3 31Bを英語のみ、日本語のみ、または両方で訓練した場合。英語専用はバランスは取れているものの日本語では最高性能ではなく、日本語専用は英語性能を犠牲にし、混合手法は日本語性能で最高水準を維持しつつ英語性能も保持しています。
データ量の増加は必ずしも性能向上につながらず、7つの優先データソースを統合した場合でも、最終的には精度が低下する結果となりました。ベンチマークの性能向上を決定づけたのは、ソース数ではなく混合データセット内の各ドメインの比率でした。報酬モデルの品質は、データ量の問題というよりもデータ構成の問題として捉える方が適切でした。
結果
最終モデルでは、plamo-translate[14]を用いてNemotron-Cascadeデータセットを結合ブロックモードで日本語に翻訳し、英語ソースと混合した後、31BパラメータのPLaMoをこの混合データで訓練しました。rb2-jp-avgベンチマークにおいて、独自開発の参照モデル、NVIDIAの72BパラメータNemotron-Cascade報酬モデル[15]、および公開済みのSkywork-Rewardファミリー[8, 9]（V2 Qwen3-8Bモデル、Llama-3.1-8Bモデル）、さらに先行モデルであるGemma-2-27BおよびLlama-3.1-8Bモデルと比較しました。図5に各ベンチマークごとの詳細な性能比較を示します。
図5：実験結果。RewardBenchファミリーのベンチマーク6種類における6つの報酬モデル：RewardBenchおよびM-RewardBench（v1）、RewardBench-2およびRewardBench-2 JP-avg（v2）。v1ベンチマークはほぼ飽和状態にあり、モデル間の差が明確に現れるのは日本語v2ベンチマークにおいてで、当社の31Bモデルがリードしています。
翻訳モデル中立な日本語評価において、当社の31Bモデルは82.9というスコアを達成しました。これは72BパラメータのNemotron-Cascade報酬モデル（82.6）とほぼ同等であり、パラメータ数が半分以下である点を考慮すると測定誤差範囲内の差です。最も性能の高い公開モデルであるSkywork-Reward-V2[8, 9]を約5ポイント上回っています（77.9）。モデルサイズに対するこれらの数値をプロットすると、その効率性が明らかになります：31Bモデルは72Bモデルと同等の日本語性能を、パラメータ数の約40%で達成しています（図6）。同様の効率性は訓練データにも表れており、我々のモデルは約81,000組の優先データペアで訓練されました。これに対し、Skywork-Reward-V2は約4000万組[9]のデータから厳選されたもので、パラメータ数は約3桁多い規模です。英語データにおいても、当社モデルは72Bモデル（80.9）と同等の性能を維持しており、v1ベンチマークでは全てのモデルがほぼ飽和状態となり、モデル間の差は認められなくなりました。私たちが信頼する結果は日本語ベンチマークにおけるものです。特定の翻訳者に有利にならないよう設計されたベンチマークにおいて、サイズが半分以下のモデルが72Bモデルと肩を並べ、テストした全ての公開モデルを凌駕しているという事実です。
図6：翻訳モデル中立な日本語評価（rb2-jp-avg）とモデルサイズの関係。PLaMo-3 31Bミックスモデルは、（約81,000組の訓練データにより）約40%のパラメータ数で72Bリファレンスモデルと同等の日本語性能を達成し（点線）、全ての公開報酬モデルを上回っています。
結論
能力の高いPLaMoモデルをベースとしながらも、強力な日本語報酬モデルを構築するには、慎重なデータ処理と誠実な評価が不可欠でした。このプロジェクトから得られた3つの重要な教訓があります。
第一に、選好データの翻訳においては、単なる文言の翻訳ではなく、本質的な信号を保持することが重要です。選択された回答と拒否された回答をセットで翻訳するか、あるいはフィールド単位で翻訳すると、意図して符号化しようとした差異が静かに消失してしまう可能性があります。
第二に、機械翻訳されたベンチマークには自己翻訳バイアスが存在します。つまり、報酬モデルは自らの翻訳者に対して過度に高いスコアを付与してしまう傾向があります。日本語の報酬品質は単一の翻訳ベンチマークから読み取ることは不可能であり、独立した複数の翻訳モデルによる結果を平均化する必要があります。
第三に、翻訳された日本語データのみで訓練を行うと、英語の学習機会を失う一方で、英語の原文と組み合わせることで日本語性能が向上します。重要なのはデータの構成であり、データ量そのものではありません。
最終的に構築したモデルは、翻訳者に依存しない日本語において72Bリファレンスモデルと同等の性能を、パラメータ数を半分以下に抑えたPLaMo-3 31B報酬モデルです。このモデルは我々がテストした全ての公開報酬モデルを上回り、英語においても競争力を維持しています。本評価は利用可能なデータとベンチマークに制約されているため、普遍的な最適解であると主張するものではありません。しかし、公正かつバイアスを制御した測定条件下において、これは強力な日本語報酬モデルであり、その構築手法（一括ブロック翻訳、翻訳モデル中立指標、英語-日本語混合データ）は他の英語データから日本語報酬モデルを構築する試みにも応用可能であると考えられます。
参考文献
[1] Lambert et al. RewardBench: Evaluating Reward Models for Language Modeling. arXiv:2403.13787, 2024.
[2] Malik et al. RewardBench 2: Advancing Reward Model Evaluation. arXiv:2506.01937, 2025.
[3] Gureja et al. M-RewardBench: Evaluating Reward Models in Multilingual Settings. ACL 2025. arXiv:2410.15522, 2024.
[4] Wang et al. HelpSteer2: Open-source Dataset for Training Top-performing Reward Models. arXiv:2406.08673, 2024.
[5] Wang et al. HelpSteer3-Preference: Open Human-Annotated Preference Data across Diverse Tasks and Languages. arXiv:2505.11475, 2025.
[6] Han et al. WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs. NeurIPS 2024. arXiv:2406.18495, 2024.
[7] Panickssery, Bowman, Feng. LLM Evaluators Recognize and Favor Their Own Generations. NeurIPS 2024. arXiv:2404.13076, 2024.
[8] Liu et al. Skywork-Reward: Bag of Tricks for Reward Modeling in LLMs. arXiv:2410.18451, 2024. Models: Skywork-Reward-Gemma-2-27B-v0.2, Skywork-Reward-Llama-3.1-8B-v0.2.
[9] Liu et al. Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy. arXiv:2507.01352, 2025. Models: Skywork-Reward-V2-Qwen3-8B, Skywork-Reward-V2-Llama-3.1-8B.
[10] Bradley, Terry. Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons. Biometrika 39(3/4):324–345, 1952. JSTOR 2334029.
[11] Qwen Team. Qwen3 Technical Report. arXiv:2505.09388, 2025.
[12] Gemma Team, Google DeepMind. Gemma 4. Model card, 2026. ai.google.dev/gemma · HF: google/gemma-4-31B-it.
[13] Preferred Networks & NICT. PLaMo 3. Our reward models are built on an internal PLaMo-3 checkpoint, post-trained in-house from the publicly released base models plamo-3-nict-8b-base and plamo-3-nict-31b-base. 2026. HF: 8B base · HF: 31B base.
[14] Preferred Networks. *PLaMo Translation Model (plamo-2-translate).* A dedicated English–Japanese translation model (10B, built on PLaMo-2-8b). 2025. HF: pfnet/plamo-2-translate.
[15] Wang et al. Nemotron-Cascade: Scaling Cascaded Reinforcement Learning for General-Purpose Reasoning Models. arXiv:2512.13607, 2025. Reward model: nvidia/Qwen2.5-CascadeRL-RM-72B. Preference data (NVIDIA, CC BY 4.0, commercial-use; a curated subset of HelpSteer2/3 and WildGuard): nvidia/Nemotron-Cascade-RL-RLHF.
投稿 PLaMoベースの強い日本語報酬モデルの構築 は Preferred Networks Tech Blog に最初に表示されました。
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み