P-GenRM：パーソナライズされた生成報酬モデルが多様な個人嗜好に対応

P-GenRM：当奖励模型遇上千人千面

原创 通义实验室 2026年3月17日 17:51 浙江

入选 ICLR 2026 Oral！

同样的问题，不同的人，在不同的场景下，需要的答案可能截然不同。

统一的标准，遇上千人千面的偏好，传统的奖励模型显然已不够用。如何让 AI 真正适配动态变化的个性化需求？通义实验室自然语言智能团队提出了 P-GenRM（Personalized Generative Reward Model）。这是首个面向开放域场景的个性化生成式奖励模型，已入选 ICLR 2026 Oral。

论文：https://arxiv.org/abs/2602.12116

代码：https://github.com/Tongyi-ConvAI/Qwen-Character/tree/main/Character-GenRM

过去的个性化方法通常会将用户偏好嵌入模型中：例如用户特征、人口属性、历史对话、偏好标签等，让模型“猜你喜欢什么”。但它们常被两件事卡住：

痛点 A：偏好建模过于静态

许多方法将偏好简化为少数固定维度（如“更简洁/更详细”），难以表达真实世界中细腻且多变的偏好：

同一用户：工作时需要结构化、闲聊时则希望松弛

不同类别的问题：询问“旅游建议”和询问“人生建议”，期待的标准完全不同

痛点 B：新用户泛化能力差（冷启动）

当面对缺乏历史数据的新用户时，现有模型往往难以及时适配其偏好，陷入“冷启动”困境。

P-GenRM の革新は、単にブラックボックス化したスコアを直接出力するのではなく、構造化された「評価チェーン（Scoring Chain）」を生成する点にあります。これはまるで、「個別の採点基準」を策定できる採点者のようなものです：

まず書くのは、このシナリオにおいてその生徒が何を最も重視しているか（ペルソナと嗜好分析）。

次に書くのは、評価基準（Rubric）です（各項目ごとの重み付け）。

最後に、候補となる回答を各項目ごとに採点し、合計点を算出します。

概念的には、その出力は以下の 3 つの部分に分かれます：

ペルソナ/嗜好プロファイル：現在のシナリオにおいて、このユーザーは誰に最も似ており、何を重視しているのか？

評価基準（Rubric）：例えば「正確性 0.35、構造 0.25、トーンの親和性 0.20、創造性 0.20」など。

項目ごとの採点と合計点：各基準に対して理由付きでスコアを付与し（説明可能）、合計点を算出します。

これにより、嗜好がモデル内部の「ブラックボックス化したベクトルの塊」となるのではなく、可読性があり、調整可能で、監査可能な評価プロセスとなります。

モデルに本当にこの「まずルールを定め、その後で採点する」という能力を習得させるために、私たちは 3 つの段階からなるトレーニングフレームワークを採用しました：

有監督微調整（SFT）を用いてモデルを訓練することで、ユーザーの明示的嗜好（例：「簡潔な回答が好き」と直接明言すること）や暗黙的嗜好（会話履歴に現れるスタイル傾向など）を、完全な評価チェーンに変換します。この段階でモデルは、多様な嗜好信号から、特定の状況におけるユーザーの嗜好像とそれに対応する評価基準を抽出する方法を学びます。

実際の現場では、ユーザーはすべての嗜好を明確に口にするわけではありません。そこで、モデルが評価チェーンを生成する能力をさらに向上させるために、強化学習（Reinforcement Learning: RL）を導入しました。ユーザーの嗜好情報が不十分な場合（例えば明示的嗜好情報が欠落している場合など）、モデルは依然として合理的な判断基準を「推測」する必要があります。RL 訓練を通じて、P-GenRM は情報不足の状態でも堅牢な嗜好推論を行い、評価チェーンを補完して、評価プロセスの連続性と合理性を保証する方法を学びます。

私たちは、「易から難へ」というカリキュラム学習（Curriculum Learning）戦略を導入し、モデルにより多くの挑戦的なサンプルに触れさせることで、困難なネガティブサンプルの判断精度を段階的に向上させます。

以上の 3 つの「特訓」を経て、P-GenRM は業界に精通し、かつユーザーのことも理解した AI 評価官へと成長しました。これは、複雑多様なユーザー嗜好を構造化された評価チェーンに変換してモデル回答を評価することで、異なるシナリオにおけるユーザーニーズへの動的な適応を実現するものです。

どれだけ訓練を徹底しても、パーソナライズされた推論には本質的なノイズが伴います。過去の会話履歴が判断を誤導したり、現在のシナリオからの信号が不足していたり、新規ユーザーのサンプル数が少なすぎたりする可能性があります。

そこで P-GenRM は、推論段階において「テスト時ユーザー拡張機構（Test-time User-based Scaling）」を導入し、「一度に複数の仮説を検討する」と「類似した他者の情報を参照する」という 2 つの戦略を通じて、安定性を向上させます。

同じユーザーに対して、モデルは複数のスコアリングチェーンをサンプリングして投票を集約します。これにより、異なる評価基準を複数回生成し、総合的に判断することで、単回の生成に伴う偶然の偏りを効果的に低減できます。

私たちはオフライン環境で、多数のユーザーの嗜好をいくつかのユーザープロトタイプ（User Prototypes）にクラスタリングしています。推論時には、まず現在のユーザーがどのプロトタイプに最も似ているかを判断し、次に類似するユーザーの嗜好信号を複数選択して追加で「参考スコア」を生成します。これを個体層の結果と融合させます。

これにより、以下の2つの大きな効果が得られます：

ノイズ低減：類似した集団が提供する「嗜好の事前知識」は、単一の履歴データに誤導されにくい特性があります。

コールドスタートへの対応強化：新規ユーザーも「類似するユーザー」を通じて、利用可能なパーソナライズ基準を獲得できます。

私たちは権威あるベンチマークである PersonalRewardBench（Chatbot Arena-personalized と PRISM-personalized で構成）上で体系的な評価を行いました。その核心となる成果は以下の3点に要約されます：

P-GenRM（8B）は既存のすべての手法を全面的に上回り、平均して約 2.3% の向上をもたらしました。

より重要なのは、わずか 8B モデルでさえも、従来最強であった 70B ベースラインモデルを上回った点です。これは、より賢いアーキテクチャ設計を通じて、小規模なモデルでもパーソナライズ化タスクにおいて「階級を越えた挑戦」が可能であることを意味します。

individual（個体）とprototype（プロトタイプ）の 2 層拡張を導入することで、精度をさらに約 3% 向上させることができます（例えば、Ind-16 + Pro-8 の設定では、精度をさらに押し上げることが可能です）。より重要なのは、拡張回数を少なく抑えつつも、「個体拡張のみでより多く拡張した場合」よりも優れた結果を出せる点です。

これは、「類似ユーザーを参照すること」が単に計算リソースを積み重ねるだけでなく、有効な情報量の増加をもたらしていることを示しています。

P-GenRM を用いて Policy モデルを訓練し、その下流タスクにおける実用的な価値を検証しました。

8B の Policy モデルに P-GenRM を組み合わせることで、DPO や GRPO などの設定において、統計的に有意なパーソナライズされたアラインメントの向上を実現できます。

さらに、いくつかの比較においては、8B の Policy モデルに P-GenRM を組み合わせた方が、70B モデルよりも優れた結果を示すこともあります。

これはつまり、P-GenRM は単なる「審査員」ではなく、「良きコーチ」としても機能することを意味します。

また、より堅牢なエビデンスも追加で提示しました：

少量の履歴サンプルでも機能します（数件の履歴インタラクションのみであっても安定したパフォーマンスを発揮します）

小規模グループに対する公平性が高いです。macro-accuracy などの指標で評価しても依然として優れた結果を示し、主流の嗜好に迎合するだけにとどまりません

推論効率：比較において、P-GenRM はより高い精度を維持しつつも遅延は低く抑えられており、拡張に伴う追加の所要時間は相対的に制御可能です

真のパーソナライゼーションとは、「トーンを変える」「ニックネームを記憶する」といった表面的なカスタマイズではなく、オープンエンドな質問に対して「その人にとって、このシナリオにおいてより適切な」回答を安定的に提供することです。

P-GenRM の中核的価値は、パーソナライゼーション・アラインメント（注：個人化への整合性調整）を、解釈可能で汎用性の高いプロセスとして体系化した点にあります：

まず基準を明確化する：嗜好信号からペルソナ（注：人物像・人格設定）を推論し、重み付けされた評価ルブリック（注：評価基準表）を生成する

次にその基準に基づき逐条で判断する：ブラックボックスによる採点ではなく、解釈可能かつ監査可能な採点プロセスを出力する

不確実な場合は推論を複数回行う：個人レベルで複数のサンプリングと集約を行い、偶発的なバイアスを低減する

新規ユーザーも類似の経験から学べるようにする：プロトタイプ層に類似するユーザーの嗜好を導入し、コールドスタート（注：初期状態での学習困難）における汎化能力を強化する

この仕組みにより、パーソナライゼーション技術はカスタマーサポート、教育、コンテンツ制作といった実社会のシナリオへの導入がより現実的なものとなります。システムは「一度で嗜好を正確に当てる」必要はなく、構造化された評価チェーンを通じて不確実性を分解・吸収・低減させることができます。

さらに重要なのは、P-GenRM が生成型リワードモデル（注：生成型報酬モデル）がパーソナライゼーション・アラインメントにおいて持つ可能性を示した点です。多様な嗜好信号を構造化され解釈可能な採点チェーンに変換し、テスト時のユーザー拡張を通じて安定性と汎化能力を向上させます。これにより、より正確なパーソナライズされたリワード信号をもたらすだけでなく、「あなたを理解し、かつなぜそうするのかを説明できる」AI システムの構築に向けた一歩となりました。

💬 今日のインタラクション

あなたが考えるパーソナライズ AI における最大の課題は何ですか？ユーザー嗜好を正確に理解することでしょうか、それとも異なるシナリオ間で柔軟に切り替えることでしょうか。コメント欄であなたの見解をお聞かせください（抽選でカスタムグッズが当たるかもしれません）

おすすめ記事

imageFun-CineForge：初の映画級音声合成マルチモーダル大モデル

一言で自由生成！音声双モデルがリリース

原文を読む

WeChat（注：微信）で開くにはこちらへ