計算リソース制約下での推論におけるリスク管理：コンフォーマル思考

Apple Machine Learning は、大規模言語モデルの推論において、トークン予算と適応的推論の閾値設定をリスク制御問題として再定義する「コンフォーマル思考」手法を発表した。これにより、計算リソースの制約下で信頼性と精度のトレードオフを最適化するアプローチが示された。