Artificial Analysis、エンドポイント精度指数を発表

記事の3ポイント

1. 1

   エンドポイント精度インデックスの開始

   Artificial Analysis は、サーバーレス API エンドポイントが公式ウェイトの精度をどの程度維持しているかを測定する新しい指標「Endpoint Accuracy Index」を発表した。

2. 2

   厳格なベンチマーク手法

   同社は各エンドポイントを、推奨された精度と設定で自己ホストした公式ウェイトの参照デプロイメントと比較し、95% 信頼区間内の結果を同等と判定する。

3. 3

   主要な評価領域

   ツール呼び出し（BFCL-500）、科学的推論（HLE-250）、長期コンテキスト想起（AA-LCR-25）の 3 つの領域を等重みで評価し、各エンドポイントの特性による精度差を明確にする。