Allen AI、LLM ベンチマークの真価を検証する「BenchMIRT」手法を公開

記事の3ポイント

1. 1

   ベンチマークの隠れた要因の可視化

   従来のベンチマークスコアは複数の能力が混在しているため、個別の質問やタスクを分析することで、何が実際に評価されているかを分離して明らかにする。

2. 2

   多次元 IRT の応用

   心理測定学の手法である項目反応理論（IRT）を多次元化し、モデルの能力と質問の難易度・識別力を同時に推定する技術を採用している。

3. 3

   大規模データによる訓練

   100 個の LLM と 16 のベンチマーク、34,000 問以上の質問データを学習基盤として使用し、汎用性や安全性など異なる能力の信号を分離する。