#humaneval のAIニュース

AI評価指標はパレート曲線へ移行すべきである

著者らは、コード生成精度を測る既存のベンチマークが有用でないと指摘する。高精度なシステムは複雑なエージェントであり、単一スコアでは比較できないため、パレート曲線を用いた評価への移行を提案している。