最終トークン選好最適化によるドゥームループの削減

記事の3ポイント

1. 1

   Doom Loopのメカニズム解明

   推論時の不確実性や過学習により、モデルが「Wait」や「Alternatively」といったトークンを安易に選択し、同じ思考パターンを無限ループさせる現象が特定された。

2. 2

   FTPOによる標的型アプローチ

   既存の反復ペナルティや強化学習とは異なり、ループ開始の特定のトークン位置のみでモデルに代替案を学習させる「Final Token Preference Optimization (FTPO)」を採用した。

3. 3

   性能評価での劇的改善

   LFM2.5-2.6Bの早期チェックポイントにおいて、困難な数学・コーディング問題における反復ループ発生率が10.2%から1.4%へ低下し、評価スコア全体が向上した。