OpenRouter、画像生成モデルの能力を評価するベンチマーク「Visual Image Benchmarks」を公開

記事の3ポイント

1. 1

   画像モデル評価の課題と新ツールの登場

   従来の LLM ベンチマークやアリーナスコアでは捉えきれない画像生成モデルの詳細な能力を、視覚的な出力サンプルで即座に比較できる「Visual Image Benchmarks」が OpenRouter によって公開された。

2. 2

   7 つのカテゴリーによる境界テスト

   不可能なシーンの描写、数え上げ、テキスト生成、空間関係、否定表現、編集処理、一貫性の維持という 7 つの難問カテゴリーが設定され、各モデルの能力差を明確に区別する設計となっている。

3. 3

   価格と生成時間の可視化

   ベンチマーク結果はグリッド形式で表示され、モデル名とともにコストと生成時間でのソートが可能となり、ユーザーは要件に応じて最適なモデルを迅速に選定できる。