Apple ML、ツール呼び出し能力の蒸留を最適化する「PROOF-Gen」を発表

ツール呼び出し機能を展開可能なモデルに転移（ディストillation）する際、教師モデルが生成した軌跡データを用いた教師あり微調整は、標準的な第一段階として定着しています。実際に製品化されたツール呼び出しエージェントのポストトレーニングパイプラインでは、この工程を毎日または毎週繰り返し実行しており、その都度最先端の教師モデルのコストが発生します。しかし、その仕組みは「生成してフィルタリングする」アプローチに留まっており、「教師が成功した軌跡のみを保持し、他を破棄する」という単純なロジックです。そのため、各サイクルで同じ難易度のシナリオが残ったままとなり、失敗事例からは学習に必要な信号が得られないという根本的な課題があります。

τ 2-bench の評価結果では、教師モデルの試行のうち57%が失敗に終わりました。そのうち約3分の2は「ニアミス」であり、ツール呼び出し自体は正しく実行されたものの、最終的なタスク達成には至らなかったケースが大半です。