Artificial Analysis、独自データで AI ベンチマークを可能にする「Optima」を発表

記事の3ポイント

1. 1

   独自データによるベンチマークの実現

   Artificial Analysis が発表した Optima は、ユーザーが自社のデータとワークフローを用いてカスタム AI ベンチマークを構築できる機能を提供する。

2. 2

   多角的な評価指標の導入

   新プラットフォームではモデルの比較において、単なる品質だけでなくコストやタスクあたりの所要時間といったメトリクスも重視されるようになる。

3. 3

   エージェント型アプリケーションへの対応

   エージェントベースのアプリケーションにおいては、単純なトークン価格よりもこれらの実務指標の方が有用であるという認識が示されている。