HellaSwagは優れたベンチマークか、それとも欠陥があるのか？人気LLMベンチマークの36％に誤りが含まれている

ベンチマークの深刻な欠陥

Surge AI の分析により、LLM ベンチマーク「HellaSwag」の約 36% に誤りや不整合が含まれていることが明らかになった。

評価指標としての信頼性低下

この欠陥は、現在の LLM の性能を正確に測定・比較する際の基準として機能していない可能性を示唆している。

研究コミュニティへの影響

多くの研究論文や開発者が参照してきた指標の信頼性が揺らぎ、ベンチマークの再検証や見直しの必要性が高まっている。