#評価ベンチマークのAIニュース

3件の記事

多モーダルモデルの中間視覚状態利用を検証する評価フレームワーク「See2Think」を公開

Hugging Face Daily Papers は、既存ベンチマークの限界を指摘し、推論過程における中間視覚状態の使用実態を検証する統一評価フレームワーク「See2Think」を導入したと報告した。

Andon Labs のルカス・ペターソン氏とアクセル・バックランド氏が、従来のスコアベースの評価指標では捉えきれない現実世界でのモデル性能を測る新しい評価手法「リアリティ」について議論する。

CORPGENは、複数の相互依存タスクを同時管理する「Multi-Horizon Task Environments（MHTEs）」を開発した。現在のAIエージェントは多タスク負荷で完了率が16.7%から8.7%に急低下する課題を解決する取り組み。