ブラウザ使用向けスケーラブルな長期 RL 環境の構築手法を公開

記事の3ポイント

1. 1

   実世界データの活用

   合成サイトやクローンではなく、匿名化された実際の生産環境からのトラフィックデータを基盤としてタスクを抽出している。

2. 2

   厳格なフィルタリングプロセス

   数百万件の投稿から重複排除、言語・文字数制限、ローカルアクセスの除外、既存ベンチマークとの重複回避を経て約 1000 万件を抽出している。

3. 3

   公正な報酬設計の試み

   各タスクに対する複数の試行履歴からルブリック（評価基準）を構築し、ライブウェブ検証と凍結トレースによる再評価で安定性を確保する手法を採用している。