Moonshot PerceptionBench、多モーダル視覚モデル評価ワークフローを公開

記事の3ポイント

1. 1

   多機能な視覚知能評価ベンチマーク

   OCR、数え上げ、位置特定、文脈推論、比較、深さ理解、ハルシネーション検出など、微細な視覚知能能力を測定する「PerceptionBench」が紹介される。

2. 2

   堅牢なデータ読み込み戦略

   バランスの取れたサブセットを読み込むために、マルチステージストリーミングとダウンロード戦略を採用し、ベース64エンコードされた画像のデコードや正規化を行う手法が詳述される。

3. 3

   柔軟な評価ハーンの構築

   盲検事前基準（blind-prior baseline）、OpenAI 互換 API、および Hugging Face のローカルビジョン言語モデルに対応した統一された評価ハーンが実装される。