多様な推論経路が LLM により良い意思決定を教える

大規模言語モデル（LLM）は、ラベル付けされていない膨大なデータセット上で事前学習されますが、その後、指示の追従や有害な出力の回避、推論の実行、または生成された出力に対する正当性の提示といった特定のタスクに対してポストトレーニングが行われます。並列推論——すなわち、同じ問題に対して複数の多様な推論経路を生成して比較する手法——は、LLM の推論能力の限界を理解するための重要なツールとして台頭しています。また、これは自己一貫性（self-consistency）といった LLM をテストする技術の基盤でもあり、ここでは複数の推論経路を集約して精度を向上させます。LLM は通常、各トレーニング例に単一の人間検証済み推論トレースがラベル付けされた教師付き微調整（SFT: Supervised Fine-Tuning）を通じて推論のために最適化されています。評価における並列推論の有効性を考慮すると、「同じ質問に対して多様な推論トレースでモデルを訓練することで、LLM の推論能力の限界を広げられるだろうか」という疑問が自然に生じます。今年開催された国際学習表現会議（ICLR）で発表した論文において、私たちはこの課題に対する解決策を提案します。これは、従来指摘されていた並列推論のいくつかの落とし穴を回避する手法です。 単一の LLM に異なる推論戦略を採用させるために、ポストトレーニング段階