Arena、モデル評価に自動評価「AutoEval」を導入し即日スコア表示へ

記事の3ポイント

1. 1

   即時信号の提供機能

   AutoEval はモデルがリリースされた直後にスコアを提供し、スコアは「AutoEval」として明確にラベル付けされる。十分な人間の投票が集まり検証が行われるまでこの状態が続く。

2. 2

   報酬モデルによる自動投票

   人間の嗜好を捉えた報酬モデル（RM）を訓練し、これを用いて自動的に投票を行うことで、人間の投票に依存しない評価ルートを確立した。

3. 3

   迅速なフィードバックと柔軟性

   報酬モデルに基づく投票によりランキングが数時間以内（1 時間未満）で得られ、また RM が対象とするプロンプトを制御することで特定ドメインへの評価も可能になる。