リプレイバッファを用いた難問の再検討（8 分読了）

TL;DR ## 精度向上 (Δ pp) ティーチャーサイズ 27B スチューデントサイズ 手法 **10 の LLM ベンチマーク** **16 の VLM ベンチマーク** **5 のビデオベンチマーク** オフポリシーディストリル† 0.0 0.0 0.0 オンポリシーディストリル† 0.0 0.0 0.0 GRPO† 0.0 0.0 0.0 GRPO† + ティーチャー応答 0.0 0.0 0.0 **ZPPO**(ours) 0.0 0.0 0.0 †: プロンプトレプレイバッファ · すべての実験は Qwen3.5 で実行 1 / 3 オフポリシーディストリル† と オンポリシーディストリル† 蒸留は、生徒モデルに教師のロジットを模倣させることで、**トレーニングサンプルに対する記憶（memorization）を誘発し**、見えないサンプルにおける**汎化性能を低下させます**。（データセットと教師への過学習） 2 / 3 GRPO† 強化学習（RL）は、モデルが問題を解決するまで回答の自由度を持たせ、**「待て、その手順はおかしいようだ—もう一度確認しよう」といった自己省察を通じた推論探索を促します**。（特定の回答への模倣を強制されない）— **汎化性能を維持**します。しかし、RL は rollout 精度がほぼゼロである**難問の解き方を学習できません**—それらは**永遠に捨て去られてしまいます**。 3 / 3 GRPO† + Teacher response 難問に対処するため、一部の RL 手法は教師の回答を生徒モデルに無作為に注入します—まるでそれが生徒自身の回答であるかのように—これにより**オンポリシー仮定（on-policy assumption）が破られ**、再び**汎化性能が低下してしまいます**。 洞察 研究課題 **難問において**、教師のロジットを模倣したり、教師の回答を直接生徒モデルの勾配に注入したりすることなく、どのようにして教師の知識を生徒へ転移できるか？ **ポリシードリフト（汎化性能の低下）** を引き起こさずに、生徒が難問を解決できるようにするにはどうすればよいか？ 手法 技術的には、**Replay Buffer** を使用して**難しい質問**を保存するため、モデルは各**難しい質問**を GRPO のように一度だけでなく、何度も再訪します。この反復的な曝露により、各**難しい質問**に対する BCQ/NCQ の効果が強化され、その結果、**ロールアウト精度**が向上すると期待されます。 - バッチには新しい質問、リプレイされた質問、BCQ、および NCQ が含まれており、学生モデルはこれらに対して RL 学習を行います。 results ロールアウト精度が**50%未満**に留まる場合、その質問は**Replay Buffer**に採用されます。そして、その精度が**50%**に達すると、その質問は**卒業**し、バッファから退出します。ZPPO は GRPO よりもはるかに多くの難しい質問を卒業させますが、この差は初期の精度が**ゼロ**に近い場合に最も顕著になります。 初期ロールアウト精度：**0%** 02505007501000050100150200トレーニングステップ累積卒業数00 初期ロールアウト精度：**12.5%** 02505007501000050100150200トレーニングステップ累積卒業数00 初期ロールアウト精度：**25%** 02505007501000050100150200トレーニングステップ累積卒業数00 初期ロールアウト精度：**37.5%** 02505007501000050100150200トレーニングステップ累積卒業数00 定性的評価 ## BCQ + NCQ を難しい質問に適用。 ## BCQ ## NCQ 候補 A は、場所を特定せずに「食事中にストローがない」という全球的なスウィープを行い、一方、候補 B はフレームの右端という特定の領域、円筒形という特定の形状、白色という特定の色、そして 3 本という特定の数を約束しています。位置に基づいた具体的な約束は、単なる否定の宣言よりも捏造が困難であるため、ラベルではなく検証可能性の観点から候補 B にコミットします。 --- 省略 --- 回答：3。 \boxed{3} 正解 ## NCQ リストされた 8 つの候補はすべて、「シーンにストローがない」という同じグローバルな推論に基づいて 0 と結論付けており、コンセンサスが見過ごした可能性のある領域や形状を記述しているものはありません。プロンプトのルールでは 0 が除外されていますが、リストされた推論の中に局所的な手がかりが一つもないため、見落としられたクラスターが存在する場所を特定するための足掛かりがありません。私はコンセンサスに戻ります。回答：0。 \boxed{0} 不正解 ## BCQ 翻訳全文 ## NCQ 提示された8つの候補はいずれも「各バナナにシールが貼られている」という一般的な根拠で3と回答しており、どの位置のバナナにシールがあるかを特定していません。問題文は3つを除外するルールを示しているため、この合意形成は特定の位置を過剰にカウントしていることになります。このような一般的な確認で見落としやすいのは中央の位置であり、その特定の失敗モードを修正することで（閉じた回答セットから排除するのではなく）、正解は2になります。 --- 省略 --- 答え：2。 \boxed{2} 正解 匿名化された候補 A は、ボタンという一般的な特徴（数や位置の指定なし）を持つ小さな円形形状を読み取っている一方、候補 B は編み込みという特定の質感、白色という色、そして胸元にある結び目という構成を持つ単一の特徴を特定しています。推論の質だけで見れば、一般的な読み取りよりも、捏造が難しい具体的なコミットメントの方が優位です。 --- 省略 --- 答え：D（ロープ）。 \boxed{D} 正解 ## NCQ プロンプトは B（ボタン）と C（ポケット）を除外しました。A（ベルト）と D（ロープ）が残っています。この二つの間の判断は、単なる排除によるものではありません。ベルトは腰に横断する長い水平ストラップですが、誤った候補の記述自体が、結び目のような構成で胸元に付着していることを一貫して特定しています。この特定の構成に合致する残りの選択肢はロープです。 --- 省略 --- 答え：D（ロープ）。 \boxed{D} 正解 ## BCQ 匿名化された並列比較において、候補 A は構造の詳細なしに3本の背骨を報告していますが、候補 B は明確な色順（白、濃色、白、濃色）にコミットしています。4要素の交互配列は構造的なコミットメントです：もし背骨が3本しかなかった場合、この順序はバランスしません。私はラベルによるものではなく、その推論がこの内部整合性チェックを生き残っているため、候補 B にコミットします。 --- 省略 --- 答え：4。 \boxed{4} 正解 ## NCQ 思考 列挙された8つの候補すべてが、同じ「3つ並ぶ」根拠で3を報告しており、色や位置のパターンについては言及していません。したがって、合意形成の失敗モードは、2本の隣接する脊髄が1本に統合されることであり、これは列挙された追跡データに色ごとの分解が存在しないことと整合しています。このオフ・バイ・ワンエラーを修正すると4となり、これは閉じた回答セットからの除外ではなく、失敗モードを特定することで導き出されます。--- 省略 --- 答え：4。 \boxed{4} 正解 ## BCQ 思考 両候補とも特定のグリッド読み取り値を主張しているため、長さや順序だけで選択することはできません。候補Aの終点（4, 1600）では、その線はy軸の上端から2行下のラベル付き行に位置することになります。一方、候補Bの連鎖（2, 1000）および（4, 2000）は正確なラベル付き交点上にあり、特に（4, 2000）は矢印頭の終止位置と一致しています。反証可能性の観点から、候補Bの連鎖のみが整合性を持っています。--- 省略 --- 答え：500。 \boxed{500} 正解 ## NCQ 記載されたすべての候補は、(1, 400)、(2, 800)、(4, 1600) を通ることで傾き 400 にコミットしています。答えは開かれた数値であるため、閉じた集合からの除外は不可能です—再導出する必要があります。(2, 1000) と矢印の先端が (4, 2000) の付近で終端するという 2 つの正確な交差点点に再アンカーリングすると、傾きは 500 となります。合意形成は、ラベルのない y=500 を x=1 でラベル付きの 400 行へスナップさせることで失敗しました。---省略--- 答え：500。 \boxed{500} 正解

リプレイバッファを用いた難問の再検討（8 分読了）

背景や根拠まで確認しますか？

調べる

選ぶ

サイト