計算リソース制約下での推論におけるリスク管理：コンフォーマル思考
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Apple Machine Learning
Apple Machine Learning は、大規模言語モデルの推論において、トークン予算と適応的推論の閾値設定をリスク制御問題として再定義する「コンフォーマル思考」手法を発表した。これにより、計算リソースの制約下で信頼性と精度のトレードオフを最適化するアプローチが示された。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
推論型大規模言語モデル（LLM）はテスト時のスケーリングを可能にし、データセットレベルの精度はトークン予算が増加するにつれて向上します。これにより、信頼性を高めるためにトークンを費やし、追加計算が有益 unlikely な場合に早期に停止する適応的推論への動機付けとなっています。しかし、トークン予算の設定や適応的推論のための閾値設定は、本質的なリスクと精度のトレードオフを伴う実用的な課題です。私たちは、この予算設定問題をリスク制御として再定式化し、計算量を最小限に抑えつつ誤り率を制限します。私たちのフレームワークは、…
原文を表示
Reasoning Large Language Models (LLMs) enable test-time scaling, with dataset-level accuracy improving as the token budget increases, motivating adaptive reasoning—spending tokens when they improve reliability and stopping early when additional computation is unlikely to help. However, setting the token budget, as well as the threshold for adaptive reasoning, is a practical challenge that entails a fundamental risk-accuracy trade-off. We re-frame the budget setting problem as risk control, limiting the error rate while minimizing compute. Our framework introduces an upper threshold that stops…
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み