LLM の長期推論ボトルネックを解消する新手法

長期実行における不安定性の要因

高レベル戦略が提示されていても大規模言語モデルの長期実行は不安定であり、分解が必須である一方で極端な分解は「回復不能ボトルネック」を生み出すことが示された。

非一様なエラー分布による不可逆性

一部の困難なステップで生じる一貫したエラーが非一様に分布することで、一度発生すると回復不可能な状態になることがこのボトルネックの深刻な原因であると分析されている。

LEAD 手法による解決策

Apple Machine Learning は、短未来検証（short-horizon future validation）と集約を組み合わせた「Lookahead-Enhanced Atomic Decomposition (LEAD)」という新手法を提案している。

制御されたパズルでの実証

本手法の有効性は、制御されたアルゴリズムパズルにおける評価を通じて示されており、分解の重要性とボトルネックの克服が裏付けられている。