腾讯混元ら、製品原型の AI 智能体評価ベンチ「E-Bench」を共同発表

記事の3ポイント

1. 1

   実製品ベースの評価環境の構築

   E-Benchは王者荣耀、QQ音楽、腾讯会議という3つの実サービスに類似した完全な仮想世界を構築し、323個の状態変更タスクを通じて智能体の真の実力を測る。

2. 2

   現状のAI智能体性能の限界

   強力なモデルでも成功率は73.79%に留まり、安定して完了する確率は58.82%にとどまるなど、複雑な多段階タスクでは半数近くで失敗する傾向が示された。

3. 3

   既存ベンチマークの欠陥と新手法

   従来の評価は単発的なAPI呼び出しや合成環境に偏っており、E-Benchは「グラフ誘導データベース充填」を用いてノイズのある実データに近い状態で公平な試験を行う。