マルチモーダル評価器：Strands Evalsにおける画像からテキストへのタスク向けMLLM-as-a-judge

ビジュアルショッピング、画像やドキュメントの理解、チャート分析を構築している場合、モデルの回答が実際にソース画像に基づいているかどうかを検証する方法が必要です。テキストのみで評価するシステムでは、キャプションが画像を忠実に記述しているか、抽出された請求書の合計金額が文書と一致しているか、画面サマリーに存在しなかったボタンが幻覚として生成されていないかなどを確認できません。Gartner は [予測](https://www.gartner.com/en/newsroom/press-releases/2025-07-02-gartner-predicts-80-percent-of-enterprise-software-and-applications-will-be-multimodal-by-2030-up-from-less-than-10-in-2024) しています。2030 年までにエンタープライズソフトウェアの 80% がマルチモーダル（複数の入力・出力形式を扱う技術）になる見込みで、これは 2024 年の 10% 未満から大幅に増加するものです。自動的なマルチモーダル評価がなければ、高価な人的レビューと信頼性の低いテキストベースの代替手段の間で板挟みになります。 本日、Strands Evals ソフトウェア開発キット (SDK) の画像からテキストへのタスク向けに、4 つの新しい**マルチモーダル大規模言語モデル (MLLM)-as-a-Judge 評価器**を発表します。これらは**Overall Quality**（全体的な品質）、**Correctness**（正確性）、**Faithfulness**（忠実度）、そして**Instruction Following**（指示遵守）です。各評価器は、出力された画像からテキストへの回答をソース画像に対してスコアリングします。評価器は、クエリと回答、および（オプションで）参照回答とともに、画像を直接マルチモーダルなジャッジモデルに送信します。ジャッジは、画像に基づいたスコアと、デバッグに使用できる推論ストリングを返します。これらの評価器は、既存の Strands Evals の Case → Experiment → Report ワークフローにおけるテキスト専用ジャッジのドロップイン代替として使用でき、継続的インテグレーション (CI) に組み込むことで、視覚的な幻覚、事実上の誤り、指示違反を自動的に検出できます。 本稿では、以下の内容について学びます： - 4 つの多モーダル評価器を設定し、画像からテキストへのタスクに対して実行します。 - 同じ評価器を使用して、参照ベースの評価と非参照ベースの評価を切り替えます。 - ドメイン固有の基準に合わせたカスタム多モーダル評価基準を作成します。 - 精度、コスト、レイテンシのバランスが取れた Amazon Bedrock 上の判別モデルを選択します。 - 実験において判別者と人間の整合性を向上させたプロンプト設計の選択肢を適用します。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/05/19/ML-21039-1.jpg) *図 1: 多モーダル判別フレームワークの概要。画像（またはドキュメント画像）、テキストクエリ、およびモデル生成応答が与えられた場合、このフレームワークは多モーダル評価プロンプトを構築し、MLLM ベースの判別器を適用して、スコア（Likert 1-5 または二値）と推論理由を返します。このフレームワークは参照ベースおよび非参照ベースの評価をサポートしており、ケース管理とレポート作成のために Strands Evals と統合されています。 ## 前提条件 本記事のウォークスルーを追うためには、以下の準備が必要です： - Python 3.10 以降が環境にインストールされていること。 - 評価用ツールには `pip install strands-agents-evals` を、ウォークスルーで使用される対象エージェントには `pip install strands-agents` を実行してください。 - Amazon Bedrock にアクセス権限を持つ AWS アカウントを持っていること。 - ローカルで AWS 認証情報が設定されていること（例：`aws configure` コマンドまたは AWS Identity and Access Management (AWS IAM) ロールによる設定）。また、評価用モデルとして Amazon Bedrock の `InvokeModel` パーミッションが付与されている必要があります。 - Strands Evals の「ケース→実験→レポート」ワークフローに慣れていること。Strands Evals が初めての場合は、クイックツアーとして Strands Evals 発売時のブログポストをご覧ください。 ## テキストのみによる評価者が画像に基づく失敗を見逃す理由 請求書の読み取りやダッシュボードの要約、スクリーンショットのナレーションを行うモデルをリリースしたと仮定しましょう。テキストのみで LLM-as-a-Judge（LLM による評価者）を実行すれば、ある程度のシグナル（文章が流暢である、構造が明確であるなど）は得られますが、実際に重要な失敗を見逃してしまいます： - モデルが自信を持ってチャートのトレンドを指摘しますが、そのチャートには実際に表示されていません。 - 画像に存在しない製品、ラベル、人物をでっち上げます（ハルシネーション）。 - 間違った質問に答えるか、正しい質問に対しては誤った形式で回答します。 テキストのみによる評価者は出力内容だけを読み、画像を確認せずに承認してしまいます。真の正解は画像の中にあり、評価者はそれを決して見ることができません。 たとえ包括的な「全体的な品質」評価者から低いスコアを取得したとしても、そのスコアだけでは何が壊れたのかは分かりません。失敗の原因は事実誤認、捏造された詳細、あるいは指示の無視など多岐にわたります。これら 3 つの失敗モードにはそれぞれ異なる修正策が必要となるため、それらを一つのスコアに集約してしまうと、デバッグが実際以上に困難になってしまいます。 ## イメージ・テキストタスク向けの4つの評価者 この4つの評価者は、最も広く利用されているマルチモーダルカテゴリを対象としています。入力画像（またはドキュメント画像）とテキストの組み合わせであり、出力はテキストとなります。このカテゴリには、画像キャプション生成、視覚的質問応答、チャートおよびインフォグラフィックの解釈、ドキュメントフィールド抽出、OCR（光学文字認識 (Optical Character Recognition)）、スクリーンショット要約などが含まれます。以下の表では、新たに導入された4つの評価者がそれぞれ何を検出するかをまとめます。 **評価者** **スコア** **核心的な質問** **検出対象** 1 **全体的な品質 (Overall Quality)** リッカート尺度 1-5 回答の全体的な質はどうか？ 関連性の低さ、不正確さ、浅い回答、包括性の欠如 2 **正しさ (Correctness)** 二値判定 画像とクエリを踏まえて、回答が事実上正確かつ完全か？ 事実誤認、属性・数値・位置の誤り、省略 3 **忠実度 (Faithfulness)** 二値判定 回答は画像に基づいており、幻覚（ハルシネーション）はないか？ 捏造された物体、根拠のない推論、外部知識の漏洩 4 **指示の遵守** 二値判定 回答はクエリの制約に従っていますか？ フォーマット違反、誤った数値、主題から外れた内容、無視されたスコープ 各評価器は2つのモードをサポートしています。**参照ベース**モードでは、回答を正解（ゴールド）と比較し、ラベル付きテストセットがある場合に有用です。**参照フリー**モードでは画像のみに基づいて判断するため、システムが実環境の画像で動作し、正解データが存在しない場合に唯一の選択肢となります。 ## チャート読み取りタスクの評価におけるエンドツーエンドのウォークスルー API を具体的に理解するために、単一のケースを順を追って解説します。入力データは、地域別（米国/カナダ、EMEA、アジア太平洋地域、ラテンアメリカ）の有料ストリーミングメンバーシップあたりの平均収益を示す棒グラフです。テスト対象システムは、このチャートに関する限定された質問に答えるシンプルなビジョンエージェントです。4 つの多モーダル評価器を同じ実験で実行します。これらは共通の `MultimodalOutputEvaluator` ベースクラスを共有し、画像データ（ImageData）を通じて画像を受け取ります。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/05/19/ML-21039-2.jpg) *図 2: 地域別の有料ストリーミングメンバーシップあたりの平均収益（Statista）。テスト対象システムは、このチャートに関する根拠のある質問に答えるよう求められます。 **ステップ 1. ケースと評価器の定義**。ケースは画像と指示を `MultimodalInput` にラップし、期待される出力（expected_output）を提供することで、対応する評価器に対して参照ベースの評価を有効化します。 from strands import Agent from strands_evals import Case, Experiment from strands_evals.evaluators import ( MultimodalOverallQualityEvaluator, MultimodalCorrectnessEvaluator, MultimodalFaithfulnessEvaluator, MultimodalInstructionFollowingEvaluator, ) from strands_evals.types import ImageData, MultimodalInput cases = [ Case[MultimodalInput, str]( name="revenue-chart-1", input=MultimodalInput( media=ImageData(source="revenue_chart.jpeg"), instruction="Which region has the highest average revenue? " "State the region name and the dollar amount shown in the chart.", ), expected_output="U.S. and Canada has the highest at $13.32.", metadata={"dataset": "ChartQA"}, ), ] evaluators = [ MultimodalOverallQualityEvaluator(), # リケルト 1-5 MultimodalCorrectnessEvaluator(), # バイナリ MultimodalFaithfulnessEvaluator(), # バイナリ MultimodalInstructionFollowingEvaluator(), # バイナリ ] **ステップ 2. タスクを接続して実験を実行する。**タスク関数は各 Case を受け取り、画像と指示に対してビジョンモデルを実行し、評価対象となる応答文字列を返す。 agent = Agent(callback_handler=None) task_output = None def run_task(case): global task_output image = case.input.media messages = [ {"image": {"format": image.format or "png", "source": {"bytes": image.to_bytes()}}}, {"text": case.input.instruction}, ] task_output = str(agent(messages)) return task_output reports = await Experiment(cases=cases, evaluators=evaluators).run_evaluations_async( task=run_task, max_workers=1, ) 各ケースがメディアを含むマルチモーダル入力（MultimodalInput）を保持しているため、4 つの評価者は判断プロンプトに画像を含めます。ご自身のデータにおいて画像モダリティが意味のある寄与をしているかどうかを検証するためには、マルチモーダル入力をプレーン文字列入力（例えば、画像のテキスト説明など）に置き換えて再実行してください。同じ評価者がテキストのみからスコアを算出します。 **ステップ 3. レポートの検査。**各レポートには、ケースごとのスコア、テストパス数、および理由が含まれています: print(f"Task Output:\n{task_output}\n") print("=" * 50) for name, report in zip( ["Quality", "Correctness", "Faithfulness", "Instruction"], reports, ): reason = report.reasons[0] if report.reasons else "" status = "PASS" if report.test_passes[0] else "FAIL" print(f"{name}: {report.scores[0]:.2f} [{status}]") print(f" Reason: {reason}\n") 上記のチャートを実行すると、以下のトランスクリプトが得られます: Task Output: According to the chart, the U.S. and Canada region has the highest average revenue per paying streaming membership at $13.32. 品質：1.00 [合格] 理由：回答は、$13.32 という最高収益地域として米国とカナダを正しく特定しており、指示の両方の部分を直接満たしています。この回答はチャートのデータに基づき事実上正確であり、適切な文脈も提供されています。 妥当性：1.00 [合格] 理由：事実に基づく主張は正確です。米国とカナダがチャートで最も高い棒グラフを持つ地域として正しく特定されており、$13.32 はその棒グラフに表示されている正確な金額です。事実上の誤りは見つかっていません。 忠実度：1.00 [合格] 理由：回答は画像に完全に根拠づけられています。各主張はチャートと照合して直接検証可能です。米国とカナダは$13.32 を示しており、視覚的にも最も高い棒グラフです。ハルシネーション（幻覚）は検出されませんでした。 指示遵守：1.00 [合格] 理由：回答は必要な要素である地域名（米国とカナダ）と金額（$13.32）の両方を明記することで、指示を完璧に履行しています。制約違反なく、期待される出力と事実上一致しています。 注意すべき点は二つあります。第一に、すべての評価者はスコアに加えて理由を示す文字列を返します。これはデバッグにおいて極めて重要です。CI（継続的インテグレーション）で実行が失敗した場合でも、再実行せずに*なぜ*失敗したのかを確認できます。第二に、同じケースが単一のエクスペリメント内で 4 つの独立した審査員（リッカート尺度 1 つ、二値評価 3 つ）によって評価されました。つまり、あなたのワークフローはテキストのみを対象とした Strands Evals の単一評価者実行と全く同一です。 **カスタム評価基準。** ドメイン固有の基準については、基本クラスは任意の評価基準文字列を受け入れます: from strands_evals.evaluators import MultimodalOutputEvaluator medical_eval = MultimodalOutputEvaluator(rubric="""診断精度を評価する: - 1.0: すべての所見が適切な用語で正しく特定されている。 - 0.5: 主要な所見は特定されているが、用語が不正確である。 - 0.0: 重要な所見が見逃されたか、誤って特定されている。""") ## 私たちが学んだこと：3 つの設計上の問い ## Q1. 判定者は画像を見る必要があるのか？ 自然な疑問として、詳細に自動生成された画像説明を画像の代わりに用いたテキスト専用 LLM（大規模言語モデル）判定者が、マルチモーダル判定者に代わり得るでしょうか。私たちは、MLLM-as-a-Judge（画像とテキストの組み合わせ）を、長いおよび短い画像説明を同じプロンプトに組み込んだ LLM-as-a-Judge と比較しました。 **教訓:** マルチモーダル判定者は、どちらかのテキスト専用バリアントよりも人間のスコアにより近い一致を示しました。画像説明を生成するための追加の LLM 呼び出しを含めると、テキスト専用の経路は意味のあるコスト削減や速度向上をもたらすものではありません。マルチモーダル判定者が利用可能であれば、それを直接使用してください。 ## Q2. Amazon Bedrock でどのモデルをジャッジとして使用すべきか？ Amazon Bedrock で利用可能な複数の MLLM（マルチモーダル大規模言語モデル）をジャッジとして評価し、人間によるスコアとの整合性、クエリあたりのコスト、レイテンシに基づいてデフォルトを選択しました。Anthropic の Claude Sonnet 4.6 を Amazon Bedrock で使用した結果、当社のテスト全体を通じて精度とコストのバランスが最も優れており、マルチモーダル評価器のデフォルトジャッジモデルとして採用しています。さらに、試したモデル全般に共通する2つのより広範な観察結果も確認されました。第一に、推論能力を備えた大規模モデルは、小規模モデルよりもジャッジとしての信頼性が高いこと。第二に、能力のあるカテゴリ内では、このタスクにおいては高価格帯のプレミアムモデルが中堅グレードのモデルと比較して測定可能な精度向上をもたらさないことです。 **推奨デフォルト:** Anthropic Claude Sonnet 4.6. ## Q3. どのプロンプト設計の選択が実際に重要なのか？ 最終的に推奨するプロンプトに対して、いくつかのプロンプト設計軸をアブレーション（除去実験）しました。当社のテスト全体で一般化された教訓は以下の通りです： - 採点前に判断者に推論を求めさせること。これが私たちが測定した中で最も影響力のある選択でした。スコアのみを出力する方が安価で自己一貫性が高いですが、人間による評価との整合性は顕著に低下します。もし一つだけ覚えておくなら、これです。 - いくつかの多様な較正例を含めること。ゼロショットから数個の例へと移行するにつれて、整合性は単調に向上しました。 - 視覚的精度、指示への準拠、完全性、一貫性などといった細粒度で多次元の評価基準（ルブリック）を使用し、単一の包括的なプロンプトに頼らないこと。次元を分離することで、一つの曖昧なスコアが異なる失敗モードを吸収してしまうのを防ぎます。 ## ボーナス：参照あり vs 参照なし 判断者プロンプトにゴールド（正解）の参照回答を注入することは、コンテンツに根ざした評価者に役立ちます。全体的品質、正確性、忠実度は、参照が存在する場合に人間による判断とより密接に一致しました。一方、指示への準拠は逆の結果となりました。参照コンテンツを追加すると、クエリと応答のみで決定される構造的制約（フォーマット、範囲、順序、数）のチェックから判断者が逸れてしまうのです。 **一般的なガイドラインとして：** コンテンツに根ざした指標には参照を使用し、指示への準拠のような構造的指標ではそれらを省略してください。 ## ベストプラクティス 私たちの実験と統合作業に基づき、以下を推奨します： - クイックな整合性チェックには MultimodalOverallQualityEvaluator をデフォルトとし、特定の失敗モードを診断する際に、Correctness（正しさ）、Faithfulness（忠実度）、Instruction Following（指示の遵守）といったターゲット型のバイナリエvaluatorを追加してください。 - 判事（ジャッジ）としては Claude Sonnet 4.6 から開始し、コストやレイテンシが制約条件を支配する場合のみ、Amazon Bedrock 上で推論能力を持つより小規模な MLLM に切り替えてください。判断用には小規模モデルは避けてください。 - reason（理由）と score（スコア）の出力形式を維持してください。コスト面ではスコアのみが魅力的に思えますが、人間による評価との整合性は顕著に低下します。 - 利用可能な場合は、Correctness（正しさ）、Faithfulness（忠実度）、Overall Quality（総合品質）の評価に参照データ（リファレンス）を使用してください。Instruction Following（指示の遵守）についてはそれらを省略してください。 ## まとめ Strands Evals に導入された 4 つの新しい MLLM-as-a-Judge（MLLM を判事とする）評価器により、画像からテキストへのタスクの評価は、高コストな人間のレビューや信頼性の低いテキストのみによる代替手段から、自動化され画像に根ざしたスコアリングへと移行しました。Overall Quality（総合品質）、Correctness（正しさ）、Faithfulness（忠実度）、Instruction Following（指示の遵守）はそれぞれ固有の失敗モードを対象とし、参照データに基づく評価と参照データなしの評価の両方をサポートし、各スコアには診断的な推論も併せて返します。保持された検証分割セットにおいて、これら 4 つの評価器は多様な画像ドメイン全体で人間の判断とよく一致していました。これは Strands Evals におけるより広範なマルチモーダル評価への第一歩です。今後の研究課題としては、マルチモーダルツール利用やエージェントの軌跡に対するステップレベルでの評価、およびテキストから画像へ、動画からテキストへ、音声からテキストへといった追加的なモダリティ組み合わせの評価が含まれます。 画像からテキストへのエージェントの評価を今日から始めましょう。以下のコマンドで Strands Evals をインストールしてください: pip install strands-agents-evals 次に、以下のリソースをご覧ください: - Case → Experiment → Report ワークフローの全体像については、Strands Evals のドキュメントをお読みください。 - MultimodalInput, ImageData、組み込みの評価基準、および 4 つの利便性サブクラスを含む完全な API は、マルチモーダル評価器のリファレンスをご覧ください。 - Strands Agents ドキュメントリポジトリにあるマルチモーダル評価器のサンプルを試してみてください。 フィードバックや機能要望は [こちら](https://github.com/strands-agents/evals/issues) でお寄せください。

マルチモーダル評価器：Strands Evalsにおける画像からテキストへのタスク向けMLLM-as-a-judge

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト