Hugging Face、LLM のハルネス最適化評価ベンチマーク「HarnessOpt-Bench」を公開

記事の3ポイント

1. 1

   ハネス最適化の重要性と課題

   LLM の能力は重みだけでなく、周囲のプロンプトやコードからなる「ハネス」に依存するため、AI による自動的なハネス最適化が重要となるが、評価基準が欠如していた。

2. 2

   HarnessOpt-Bench の仕組み

   このベンチマークは、LLM がシードハネスを編集し、評価フィードバックを得ながら最終候補を提名するプロセスを、信頼された実行環境内で厳密に測定するものである。

3. 3

   実験結果と知見

   5 つの最先端 LLM を対象とした 111 回の評価では、最適化モデルがコードハネスの違いで明確に分離し、ネイティブハネスが常に優位とは限らないことが示された。