報酬モデルは過度に敏感になり得る（22 分読）
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
メタ社は、報酬モデルが同等の回答に対して過剰反応し、強化学習が報酬ハッキングに向かう可能性を研究した。論文では、識別能力と特異性の両方を測定し、モンテカルロドロップアウトを用いて報酬を安全な離散信号にクラスタリングする手法を提案している。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
報酬モデル（Reward Models）は、大規模言語モデルの学習や評価において重要な役割を果たしています。しかし、最近の研究では、これらのモデルが過度に敏感であるという問題が指摘されています。つまり、入力データのごくわずかな変化に対して、報酬スコアが大きく変動してしまう傾向があるのです。
この感度の高さは、モデルの安定性や信頼性に悪影響を及ぼす可能性があります。例えば、意味的には同等であるにもかかわらず、表現のわずかな違いによって報酬スコアが大幅に異なる場合、学習プロセスが不安定になり、望ましい結果を得られなくなる恐れがあります。
本研究では、報酬モデルの感度に関する詳細な分析を行い、その原因と影響を明らかにします。また、より頑健で安定した報酬モデルを構築するための具体的な手法についても提案しています。
実験結果によると、従来のアプローチに比べて、提案する手法を用いることで、報酬スコアのばらつきを大幅に削減できることが確認されました。これにより、大規模言語モデルの学習効率や最終的な性能が向上することが期待されます。
今後の研究では、さらに多様なタスクやドメインにおける感度の検証を行い、汎用性の高い報酬モデルの開発を目指します。また、実社会での応用を考慮した、より現実的な評価基準の確立も重要な課題です。
**
要約：広範に利用されているにもかかわらず、強化学習の形成における報酬モデルの役割は十分に理解されていない。報酬モデルは、検証者や人間の審判が存在しない状況で応答の質を自動的に推定するという魅力的な約束を提供する。「検証可能な報酬」が通常二値スコアを生成するのに対し、報酬モデルは連続的なスコアを生成するため、応答における微細な差異に敏感になることができる。しかし、我々はこの一見すると強みである特性が深刻な弱点であることを示す：多くの人気のある報酬モデルは過度に敏感であり、同等に良い応答に対して異なるスコアを割り当てる。理論的には、一見完璧に見える報酬モデルでも高度に過剰に敏感になり得ることを示し、実証的にはこの過剰な敏感性が悪質なポリシーをもたらす可能性があることを示す。「報酬モデルの精度」という既存の概念に代わり、「弁別能力」と「特異性（過剰敏感性の補完）」という異なる指標を用いて報酬モデルを評価することを提案する。解決策として、任意のニューラルネットワーク報酬モデルに対してモンテカルロドロップアウトを使用し、離散的な報酬クラスターを生成するトレーニング不要のアルゴリズムを記述する。理論的には、弁別能力への最小限の犠牲で過剰敏感性を低減する離散化が存在することを証明し、実証的には、制御された環境および自然な強化学習設定の両方において、元の報酬に対して学習を行うよりも報酬を離散化することが、より少ない報酬ハッキングとより良いポリシーをもたらすことを示す。
対象分野:
マシンラーニング (cs.LG)
引用形式:
arXiv:2606.21795 [cs.LG]
(またはこのバージョンについては
arXiv:2606.21795v1 [cs.LG])
https://doi.org/10.48550/arXiv.2606.21795
arXiv 発行 DOI (DataCite 経由)
提出履歴
From: Vijay Viswanathan [メールを表示]
[v1]**
2026 年 6 月 19 日 (金) 23:13:59 UTC (523 KB)
原文を表示
Abstract:Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.
| Subjects: | Machine Learning (cs.LG) |
|---|---|
| Cite as: | arXiv:2606.21795 [cs.LG] |
| (or arXiv:2606.21795v1 [cs.LG] for this version) | |
| https://doi.org/10.48550/arXiv.2606.21795 arXiv-issued DOI via DataCite |
Submission history
From: Vijay Viswanathan [view email] [v1]
Fri, 19 Jun 2026 23:13:59 UTC (523 KB)
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み