Hugging Face、テスト時ポリシー最適化手法「TTPO」を発表
本文の状態
日本語全文を表示中
詳細モードで約2分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Hugging Face Daily Papers
大規模言語モデルの数学的推論能力向上を目指す新手法 TTPO は、正解ラベル不要で多数決疑似ラベルを用いながら誤りを検知する非対称目的関数により、Qwen3-1.7B の性能を大幅に向上させる。
AI深層分析を開く2026年8月28日 13:40
AI深層分析
キーポイント
既存手法の限界と非対称性の発見
従来の RL や OPSD は正解ラベルに依存し、多数決疑似ラベルを用いた場合も誤った投票が教師を汚染する脆弱性がある。研究者らは、疑似ラベルと異なるロールアウトが通常は誤りであるという非対称な失敗モードを観察した。
TTPO の非対称目的関数
提案された TTPO は、一致するロールアウトを OPSD で蒸留し、不一致のロールアウトをグループ化 RL でペナルティを与える非対称な目的関数を採用する。これにより疑似ラベルのエラー下でも安定した学習が可能となる。
トークンレベルでの選別と最適化
TTPO は収束済みの位置を蒸留で重み付け下げ、自信ある誤りだけを RL でペナルティを与えるトークンレベルの選別を行う。これにより多数決ルーティングがモデル改善とともに自己監督を強化する。
ラベル不要での高性能達成
正解ラベルを一切使用しない TTPO は、5 つの競技レベルベンチマークでラベル依存型 OPSD と同等の結果を出し、Qwen3-1.7B の TTT 性能を 38.0% から 45.2% に引き上げた。
重要な引用
We observe that this failure mode is asymmetric: rollouts that disagree with the pseudo-label are typically wrong regardless of whether the vote itself is correct.
Without any labels, TTPO matches label-supervised OPSD on five competition-level benchmarks
raises Qwen3-1.7B from 38.0% to 45.2% in TTT
編集コメントを表示
編集コメント
正解ラベルを必要としないテスト時学習において、疑似ラベルの誤りを検知する非対称アプローチが有効であることを示した画期的な研究である。この手法は、データ収集コストの高い分野における大規模言語モデルの実用化を加速させる可能性を秘めている。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
大規模言語モデルの数学的推論能力を急速に向上させた、強化学習 (RL) やオンポリシー自己蒸留 (OPSD) といった注目すべきポストトレーニング手法がありますが、これらは正解ラベルへの依存が強く、テスト時の学習 (TTT) を実現することはできません。正解ラベルの代わりに多数決による疑似ラベルを使用するのは自然な代替案のように思えますが、これは脆いものです。一度でも誤った投票が行われれば、教師モデルが汚染され、すべてのトークンが誤った方向へ誘導されてしまいます。
私たちはこの失敗モードに非対称性があることを発見しました。つまり、疑似ラベルと一致しないロールアウトは、その多数決自体が正しくても誤りである可能性が高いのです。この観察に基づき、我々は「テスト時ポリシー最適化 (TTPO)」を提案します。これは非対称な目的関数であり、OPSD を用いて一致するロールアウトから知識を蒸留し、Grouped RL で不一致のロールアウトにペナルティを与えます。
トークンレベルでの選択により、両方の更新プロセスがさらに洗練されます。具体的には、蒸留プロセスではすでに収束した位置の重みを下げる一方、RL では確信度の高い誤りに対してのみペナルティを課します。これらの更新は、疑似ラベルに頻繁な誤りが含まれていても、依然として堅牢に機能します。また、モデルが改善されるにつれて多数決によるルーティングは、より厳密な自己教師あり学習をもたらします。
正解ラベルを一切使用しないにもかかわらず、TTPO は 5 つの競技レベルベンチマークにおいて、ラベル付きで学習した OPSD と同等の性能を発揮しました。また、テスト時学習 (TTT) の文脈では Qwen3-1.7B のスコアを 38.0% から 45.2% に引き上げ、「思考」プロセスなしでも +25.2% から +36.4% の向上をもたらしました。さらに、異なるタスク間での汎用性も高いことが示されています。
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み