Apple、推論コスト削減の「Arbitrage」手法を公開

記事の3ポイント

1. 1

   推論コストの課題と既存手法の限界

   現代の大規模言語モデルは長い思考連鎖で優れた推論能力を発揮するが、推論時に多大な計算コストを要し、従来の試行錯誤型デコーディングでは意味的に等しいステップでのトークン不一致による不要な拒否が発生する。

2. 2

   高速だが不正確なドラフトモデルの活用

   推論を加速させる手法として、高速だが不正確なドラフトモデルが自己回帰的にトークンを提案し、より能力の高いターゲットモデルで並列検証を行う試行錯誤型デコーディングが存在する。

3. 3

   Advantage-Aware Speculation の新アプローチ

   Apple Machine Learning は、従来の手法の欠点を克服し、効率的な推論を実現するための「Advantage-Aware Speculation」という新たな技法を提案した。