EC 業務の LLM エージェント長期一貫性を評価するベンチマーク

記事の3ポイント

1. 1

   長期一貫性評価の必要性

   既存のベンチマークは即時的な成功基準に焦点を当てるが、実運用では目的を維持し続ける「長期一貫性」の評価が必要である。

2. 2

   MerchantBench の特徴

   98,843 件の実在する EC 製品データと 26 のツールを用いた 365 日間の注文レベルシミュレーション環境を構築した。

3. 3

   評価結果の格差

   8 つの LLM を評価した結果、最良の設定でも人間の平均最終純資産の 27.3% にしか達せず、大きな性能差が確認された。