異種嗜好アラインメントのためのパーソナライズドグループ相対ポリシー最適化

研究者らは、大規模言語モデル（LLM）が多様な個人嗜好に適合できない問題に対処するため、パーソナライズドグループ相対ポリシー最適化（P-GRPO）を提案した。この手法は、従来のGRPOがグループ内でサンプルを交換可能と仮定する制限を克服し、異なるユーザーグループの嗜好に個別に適合するポリシーを学習する。