#llm efficiency のAIニュース

5件の記事

計算リソース制約下での推論におけるリスク管理：コンフォーマル思考

Apple Machine Learning は、大規模言語モデルの推論において、トークン予算と適応的推論の閾値設定をリスク制御問題として再定義する「コンフォーマル思考」手法を発表した。これにより、計算リソースの制約下で信頼性と精度のトレードオフを最適化するアプローチが示された。

Apple Machine Learning は、拡散大規模言語モデル（dLLMs）において、破棄されたトークンの計算を再利用する手法を示し、並列デコードの効率性を向上させる研究を発表した。

Apple Machine Learning は、拡散型大規模言語モデル（dLLMs）の推論効率を高めるため、トークンのアンマスキング順序を決定する新しい学習手法を提案した。これにより、サンプル品質と処理速度の向上が期待される。

GitHub Copilot が CLI および SDK のファイル探索ツールを活用し、既存ワークフローを変更せずにコスト効率を大幅に向上させました。また、Medium 分析深度の公開プレビューでは、設定や可視性に関する新機能が追加されました。

LangChain は、Deep Agents のアーキテクチャにおいて、ツール呼び出しとサンドボックス環境の間で実行されるコード（インタープリタ）の役割について解説した。