会計分野の AI 生産性ベンチマーク「APEX-Accounting」が公開

記事の3ポイント

1. 1

   実務レベルでのAI性能限界

   8回の試行で全てのタスクを正解できるモデルは存在せず、最良のモデルでも成功率は2.6%に留まった。

2. 2

   ベンチマークの厳格な設計

   デロイトやPwCなどの経験者が作成した10社分のシミュレーションデータを用い、単なる正解ではなく一貫性を重視して評価を行った。

3. 3

   モデルごとの性能差と特性

   Claude Fable 5 が平均 56.4% で首位だが、予算に対する感応度には大きな違いがあり、Muse Spark 1.1 は低予算でも安定している。