LLM の画像入力詳細レベルの最適化

画像入力に detail: low を設定してコストを削減しようとしても、期待通りの改善が得られない可能性があります。OpenAI と Google の最新モデルについて、画像の詳細度パラメータを実証評価した結果、詳細度レベルと推論能力、コストの間には予期せぬ関係があることが明らかになりました。

例えば、MMMU-Pro Vision における gpt-5.5 の low と auto の画像詳細度を比較した際、低詳細度ではスコアが 13.8 ポイントも下回りました（65.2% vs 79.0%）。さらに、質問あたりのコストも高くなりました（5.1 セント vs 4.5 セント）。モデルは解像度の低い画像を補うために、通常より 1.6 倍の強度で推論を行いました。その結果、入力側の画像トークンで節約できたコストを上回るほど、推論に要するトークンのコストが増大してしまったのです。

推論モデルにおける画像処理コストを削減するより効果的な方法が見つかりました。それは、画像を明確な解像度（auto または high）で送信し、代わりに推論の強度を調整することです。

どのモデルでも「Auto」詳細設定が結果を改善し、場合によってはコストも削減できる

OpenAI と Google の 5 つのモデルを、温度パラメータを 0 に固定し、1 エポックで low と auto の両方の画像詳細度レベルで評価しました。その結果、すべてのモデルが auto レベルでより高いスコアを記録しています。

詳細度を低くすると GPT-5.5 はより深く考えざるを得なくなる

OpenAI のビジョンに関するドキュメントによると、detail: low を指定すると、画像の元サイズに関わらずモデルには解像度 512x512 の低解像度版が提供され、トークンコストは固定された少額で請求されます。入力トークンを節約できる一方で、重要な細部情報が縮小処理によって失われてしまう可能性があります。

gpt-5.5 では、詳細度を低く設定すると、リクエストあたり 1,180 トークンの推論トークンが発生し、自動設定（auto）の 730 トークンと比較して 1.6 倍に増加しました。また、生成トークンも 489 トークンと 351 トークンを比較して 39% 増えています。モデルは、もうはっきりと読み取れなくなった小さな文字や図表を読み解こうとして、その余分な努力を費やしたのです。

出力トークンの課金単価は画像トークンよりも高いため、入力コストの削減効果は相殺されてしまいました。同じモデルで同じ質問を低詳細度で行うと、自動設定に比べて 1 問あたり 0.6 セント多く費用がかかりました。結果として、支払額は増え、精度も低下したのです。

一般化する前に注意が必要です。トークンのパターンはモデルによって異なります。gemini-3.5-flash も低詳細度で推論トークンをより多く使用しましたが（2,876 vs 2,602）、gemini-3.1-pro はわずかに少ない値を示し（6,344 vs 6,964）、低詳細度での実行の方が安価になりました。

gpt-5.4-mini と gpt-4.1 は推論を行わないため、両方の設定で思考トークンは 0 トークンでした。出力側の増加がないため、入力コストの節約効果がそのまま残ります（後述）。

より鮮明な画像から得られる精度向上はどれくらいか？

低解像度から自動解像度へ切り替えることで、モデルによって2ポイントから17ポイントの精度向上が得られました。

OpenAI のモデルは最も大きな恩恵を受けました。これは、同社の「低」設定ではすべての画像を 512x512 に縮小し、固定されたトークンコスト（gpt-4.1 では85トークン）で処理するためです。一方、Gemini の低解像度設定は各部分で約273トークンを保持しており、よりシャープなベースラインから始まるため、改善の余地が相対的に小さくなります。

精度向上の傾向は画像の種類によって集中しています。データセットの 76% がテキストや OCR 関連、残りの 19% がスクリーンショットであるため、多くの質問はすでにモデルの性能上限に近い状態にあり、解像度を上げてもほとんど改善が見られません。最も明確な向上が確認されたのはチャートやグラフです。「auto」設定を使用すると、gemini-3.1-pro の正答率は 78.6% から 91.7% に上昇しました。一方、図面はどの解像度でも最も難しいカテゴリであり、正答率は約 3 割（21問のサンプル）にとどまりました。

具体的な質問例として、2239×1279 の機械工学図面があります。この問題では、4 つのほぼ同一な正投影図から正しい主視図を選ぶよう求められています。

4 つの候補画像の違いは、斜線や隠れた線の位置だけです。詳細度（detail）を「自動」に設定すると、gpt-5.5 は正解である B を選びます。一方、「低」に設定すると、同じ図が 512px のサムネイルに縮小され、細い線がかすれて見えます。その結果、モデルはより長い推論プロセスを経て C を選択します。しかし、推論を長くするだけでは、読みやすい画像の代わりにはなりません。

推論レベルがコストに最も大きな影響を与える

詳細度と推論努力（reasoning effort）は似たような役割を果たすように見えますが、実際の実験では全く異なる結果となりました。詳細度を変更すると精度は 2 ポイントから 17 ポイント変動しましたが、コストへの影響はほとんどありませんでした。一方、推論努力を変更するとコストは 50% から 75% 変動し、精度の変化は 1〜2 ポイントに留まり、これはノイズの範囲内でした。

gpt-5.5 を reasoning=low に制限すると、低詳細度での 1 問あたりのコストは 5.1 セントから 1.7 セントに低下し（67% の削減）、精度は 1.3 ポイント変動しました（65.2% から 63.9%）。gemini-3.1-pro では、自動設定での実行コストが 11.1 セントから 2.7 セントに下がり、精度は 1.5 ポイント向上しました。つまり、画像処理パイプラインのコストを抑えたい場合は、推論努力を制限し、画像の解像度を高く保つことが有効です。

非推論型モデルでも低詳細度の設定が効果的

推論機能を持たないモデルでは、詳細度を低く設定すると期待通りの結果が得られます。gpt-5.4-mini では、低詳細度での 1 問あたりのコストは 0.08 セントで、自動設定の 0.14 セントと比較して約 40% 安くなりました。これは推論ループが存在しないため、請求額が膨らむ要因がないからです。

ただし精度にはトレードオフがあり、55.8% から 46.1% に低下しました。

レイテンシも同様の傾向を示します。gpt-4.1 では低詳細度で 1 リクエストあたり平均 960ms、自動設定では 1,148ms でした。また gpt-5.4-mini でも、低詳細度が 1,348ms で、自動設定が 1,776ms です。低詳細度は画像を小さな固定のプロンプトトークンコスト（gpt-4.1 では 85 トークン）に制限するため、モデルが書き出しを開始する前に読み込むデータ量が大幅に減ります。推論ループで応答の末尾が遅延することもなく、この短いプリフェイル処理がより高速なレスポンスとして現れます。

ワークロードに適した詳細度の選択

適切な詳細度を選ぶには、モデルが推論機能を持つかどうかが鍵となります。

• 推論モデル (gpt-5.5 など): auto または high を維持し、コスト制御には推論の努力度を調整してください。今回のテストでは、低詳細度はすべての推論モデルで精度が低下し、3 つのうち 2 つのコストも増加しました。

• 非推論モデル (gpt-5.4-mini など): 低詳細度を設定するとコストとレイテンシを削減できますが、テキスト中心の画像では精度が低下します。

いずれの場合でも、最終的なコストに与える影響は、より高価な出力トークンと比較すれば小さくなります。多くのケースでは、画像の詳細度は自動設定のままにし、推論パラメータを調整する方が賢明です。

OpenRouter の画像入力 API はモデル間で統一されており、詳細度レベルなどのモデル固有のパラメータはプロバイダーオプションを通じて渡されるため、統合を変更せずにこれらの設定を調整できます。

検証方法

• ベンチマーク: MMMU-Pro Vision (MMMU/MMMU_Pro、ビジョン構成、テスト分割)、1,730 の十段階視覚推論問題。

• モデル: gpt-5.5、gpt-5.4-mini、gpt-4.1、gemini-3.5-flash、gemini-3.1-pro。それぞれ low と auto の詳細度で、温度 0、1 エポックで評価しました。

詳細設定：OpenAI では image_url.detail を low または auto に、Gemini では各パートごとに mediaResolution を指定します。トークン数の上限キャップは設けていません。

画像タイプ：gpt-5.4-mini vision によって「テキスト（OCR）」「スクリーンショット」「図表」「チャート」「イラスト」「写真」の 6 つに分類されます。各タイプの精度は Gemini モデルに対して算出され、OpenAI の各タイプセルについては今回の評価ではスコアリングされていません。

指標：精度は評価ログから、トークン数とレイテンシは OpenRouter の生成記録から取得しました。

コスト：1 問あたりのコストとして報告します。これは、そのランで正解が判定された質問数で総実行コストを割った値です。このように正規化することで、わずかに規模の異なるラン間での公平な比較が可能になります。