ページを読み込み中…
ページを読み込み中…
15件の記事
Hugging Face は、LLM エージェントが不確実な市場環境で事業運営を行う能力を評価するための制御されたベンチマーク環境「Business Arena」を導入したと報告した。
LLM エージェントが業務や学習など多様な長期的・横断的タスクで直面する目標の逸脱や状態喪失といった課題に対し、単一のハルネスでこれらを統合的に管理し効果性を維持できるか検証する「OneDayAgent」を提示した。
Hugging Face は、LLM エージェントが EC 業務で目的を一貫して維持する能力を評価するベンチマーク「MerchantBench」を発表した。
TLDR AI が紹介した PACE フレームワークは、非エージェント型ベンチマークの選抜データを用いた回帰モデルにより、高コストなエージェント型 LLM ベンチの評価結果を高精度で予測する。これにより評価コストを 99% 以上削減し、モデル開発と選択を支援している。