LLM の画像入力詳細レベルの最適化
OpenRouter は、大規模言語モデルにおける画像入力コストと精度のバランスを最適化するための詳細レベル選択基準を提示している。
キーポイント
コスト対効果の最適化
画像の詳細度を調整することで、計算リソースの使用量を大幅に削減しつつ、タスクに必要な情報を保持できる戦略が示されている。
タスク依存型の選択基準
単純な物体認識と複雑な文脈分析では必要な画像解像度や詳細度が異なるため、用途に応じた階層的なアプローチが推奨される。
ユーザー体験の向上
適切な詳細レベルを選択することで、レスポンス時間の短縮とコスト削減を実現し、開発者およびエンドユーザーにとっての使いやすさが向上する。
重要な引用
Choosing the optimal image input detail level is crucial for balancing cost and performance.
Higher detail levels are not always necessary and can lead to unnecessary computational overhead.
影響分析・編集コメントを表示
影響分析
この記事は、マルチモーダルLLMの実運用におけるコスト管理とパフォーマンス最適化の重要な指針を提供する。開発者が画像入力パラメータを適切に設計することで、大規模なシステムでも持続可能な運用を実現できる可能性を示している。
編集コメント
画像入力のコスト対効果を議論するこの記事は、マルチモーダルAIの実用化において避けて通れない課題への実践的な解決策を示しています。開発者がリソースを効率的に配分するための具体的な指針として価値があります。
画像入力の詳細度を「low」に設定してコストを削減しようとしても、期待通りの性能向上は得られない可能性があります。OpenAI と Google の最新モデルを対象に画像詳細度パラメータのベンチマークを実施した結果、詳細度と推論能力、そしてコストの間には予期せぬ関係性があることが明らかになりました。
例えば、gpt-5.5 において MMMU-Pro Vision ベンチマークで「low」と「auto」の詳細度を比較すると、「low」設定ではスコアが 13.8 ポイント低く（65.2% vs 79.0%）、かつ質問あたりのコストも高くなりました（5.1 セント vs 4.5 セント）。モデルは解像度が下げられた画像を補うために、推論に 1.6 倍の負荷をかけています。その結果、入力側の画像トークンで節約できたコストを上回るほど、推論用のトークンコストが増加してしまったのです。
そこでわかったのは、推論モデルにおける画像処理コストを削減するより効果的な方法です。それは、画像は「auto」または「high」で鮮明に送り、代わりに推論の負荷（リソース配分）を調整することにあります。
すべてのモデルで「Auto」設定が精度とコストの両面で優れている
OpenAI と Google の 5 つのモデルについて、「low」と「auto」の詳細度設定で比較検証を行いました。温度パラメータは 0、エポック数は 1 です。結果として、すべてのモデルにおいて「auto」設定の方が高いスコアを記録しました。
| モデル | 詳細度 | 精度 | 質問あたりのコスト | 推論トークン数/リクエスト |
|---|---|---|---|---|
| gpt-5.5 | low | 65.2% | 5.1 セント | 1,180 |
| gpt-5.5 | auto | 79.0% | 4.5 セント | 730 |
| gpt-5.4-mini | low | 46.1% | 0.08 セント | 0 |
| gpt-5.4-mini | auto | 55.8% | 0.14 セント | 0 |
| gpt-4.1 | low | 40.1% | 0.43 セント | 0 |
| gpt-4.1 | auto | 57.5% | 0.66 セント | 0 |
| gemini-3.5-flash | low | 77.9% | 2.96 セント | 2,876 |
| gemini-3.5-flash | auto | 80.1% | 2.80 セント | 2,602 |
| gemini-3.1-pro | low | 75.5% | 9.53 セント | 6,344 |
Low detail makes gpt-5.5 think harder
OpenAI のビジョンドキュメントによると、detail を low に設定すると、モデルは元の画像サイズに関わらず 512x512 ピクセルの低解像度版を受け取ることになります。この設定ではトークンコストが固定で小さく済むため入力コストを抑えられますが、その代わり重要な細部情報が解像度の低下によって失われてしまうリスクがあります。
gpt-5.5 では、detail を low にした際、1 リクエストあたりの推論トークン数が 730（auto モード）から 1,180 に増加し、約 1.6 倍の伸びとなりました。また、生成トークン数も 351 から 489 と 39% 増えています。これは、モデルが小さく文字や図表を読み取れなくなった部分を必死に読み解こうとして、余計な計算を繰り返していることを示しています。
出力トークンの課金単価は画像入力トークンよりも高いため、入力コストの削減効果は相殺されてしまいます。実際、同じ質問に対して gpt-5.5 を low detail で実行すると、auto モードに比べて 1 問あたり約 0.6 セント多く請求されました。結果として、より高い費用を払いながら精度も低下するという最悪のパターンになってしまいました。
ただし、この傾向はすべてのモデルで当てはまるわけではない点に注意が必要です。gemini-3.5-flash も low モードで推論トークン数が増加（2,602 から 2,876）しましたが、gemini-3.1-pro は逆にわずかに減少（6,964 から 6,344）し、低解像度モードの方が安価に実行できました。
gpt-5.4-mini や gpt-4.1 のように推論機能を持たないモデルでは、両方の設定で思考トークン数はゼロのままです。出力側の増加がないため、入力コストの削減効果がそのまま利益として残ります（詳細は後述）。
What accuracy gains can you get from clearer images?
低解像度から自動設定へ切り替えると、モデルによって精度は 2 ポイントから 17 ポイント程度上昇します。
OpenAI のモデルが最も大きな恩恵を受けました。これは、同社の低解像度設定ではすべての画像を固定コスト（GPT-4.1 では 85 トークン）で 512x512 ピクセルに縮小しているためです。一方、Gemini の低解像度設定は各部分で約 273 トークンを維持するため、もともとシャープなベースラインからスタートしており、失う余地が少なかったのです。
この効果は画像の種類によって集中して現れます。データセットの 76% がテキストや OCR 関連、19% がスクリーンショットです。そのため、多くの質問はすでにモデルの性能限界に近い状態にあり、詳細度を上げても精度はほとんど変わりません。最も明確な上昇が見られたのはグラフやチャートで、Gemini-3.1-Pro は自動設定時に 78.6% から 91.7% に向上しました。一方、図面（ダイアグラム）はどの設定でも最も難しく、正答率は約 3 割にとどまりました（21 問という小規模なサンプルに基づく結果です）。
その一例として、2239×1279 ピクセルの機械工学図面を提示し、4 つのほぼ同一な正投影図から正しい主視図を選ぶよう問う問題があります。
4 つの候補となる図は、ハッチング線と隠れ線の位置の違いのみで区別されています。自動設定では GPT-5.5 が正解の B を選択しました。しかし低解像度設定では、同じ図が 512 ピクセルのサムネイルに縮小され、細い線が滲んで見分けがつきません。その結果、モデルはより長い推論プロセスを経て C を選んでしまいました。長く複雑な推論は、読みやすい画像という事実には代わり得ないのです。
リーディングレベルがコストに最も大きな影響を与える
詳細度と推論努力は似ているように見えますが、実際の運用では全く異なる結果をもたらしました。詳細度を切り替えると精度は 2 から 17 ポイントも変動する一方、コストへの影響はほとんどありませんでした。一方、推論努力を変更するとコストは 50% から 75% も変動し、精度の変化は 1〜2 ポイントに留まり、ノイズの範囲内でした。
gpt-5.5 を推論レベルを「低」に制限すると、低詳細度でのコストは質問あたり 5.1 セントから 1.7 セントへと 67% 削減され、精度は 1.3 ポイント（65.2% から 63.9%）低下しました。gemini-3.1-pro では自動設定が 11.1 セントから 2.7 セントに下がり、逆に精度は 1.5 ポイント向上しています。つまり、画像処理パイプラインのコストを抑えたい場合は、推論努力を制限し、画像の詳細度は高く保つのが正解です。
非推論モデルでも低詳細度が効果的
推論機能を持たないモデルでは、低詳細度が期待通りの働きをします。gpt-5.4-mini では、低詳細度でのコストは質問あたり 0.08 セントに対し、自動設定では 0.14 セントでした。これは約 40% の節約になります。推論ループがコストを押し上げる要因がないためです。ただし精度とのトレードオフがあり、55.8% から 46.1% に低下しました。
レイテンシも同様の傾向を示します。gpt-4.1 では低詳細度が平均 960ms（自動設定は 1,148ms）、gpt-5.4-mini では低詳細度が 1,348ms（自動設定は 1,776ms）でした。低詳細度は画像を小さな固定サイズのプロンプトトークンに制限します（gpt-4.1 では 85 トークン）。これにより、モデルが書き出しを開始する前に読み込むデータ量が大幅に減り、推論ループで応答が遅延することもなくなるため、より高速なレスポンスが可能になります。
ワークロードに最適な詳細レベルを選ぶ
モデルの推論能力によって、適切な設定は異なります。
- 推論モデル（gpt-5.5 および同類）: 詳細設定は「自動」または「高」を維持し、コスト制御には推論努力度（reasoning effort）で調整してください。今回のテストでは、「低」詳細設定はすべての推論モデルで精度が低下し、3 つのモデルのうち 2 つではコストも増大しました。
- 非推論モデル（gpt-5.4-mini および同類）: 「低」詳細にするとコストとレイテンシが削減できますが、テキストが多い画像では精度が低下します。
いずれの場合でも、最終的なコストに対する詳細設定の影響は、より高価な出力トークンと比較すれば非常に小さいものです。多くのケースでは、画像の詳細設定を「自動」のままにし、推論パラメータを調整する方が賢明です。
OpenRouter の 画像入力 API はモデル横断的に統一されており、詳細レベルのようなモデル固有のパラメータもプロバイダーオプションを通じて渡されるため、統合コードを変更せずにこれらの設定を微調整できます。
- 評価指標：精度は評価ログから、トークン数とレイテンシは OpenRouter の生成記録から取得します。
- コスト：1 問あたりのコストとして報告されます。これは、その実行でスコアリングされた質問数の総実行コストを割ることで算出されます。このように正規化することで、わずかに規模の異なる実行間での公平な比較が可能になります。
原文を表示
If you set detail: low on your image inputs to cut costs, you may not be getting the improvements you expect. We benchmarked the image detail parameters for OpenAI and Google’s latest models and found some surprising relationships between detail levels, reasoning, and costs.
For example, when we benchmarked gpt-5.5’s low versus auto image detail on MMMU-Pro Vision, low detail scored 13.8 points worse (65.2% vs 79.0%) and cost more per question (5.1¢ vs 4.5¢). The model compensated for the downsampled images by thinking 1.6x harder. The cost of these reasoning tokens outweighed the image tokens saved on input.
We found a more effective path for saving costs on image processing in reasoning models: send a clearer image (auto or high), and adjust reasoning effort instead.
Auto detail produces better results on every model, and sometimes costs less
We ran five models from OpenAI and Google at both low and auto, temperature 0, one epoch. Every model scored higher on auto.
ModelDetailAccuracyCost / questionReasoning tok/req
gpt-5.5low65.2%5.1¢1,180
gpt-5.5auto79.0%4.5¢730
gpt-5.4-minilow46.1%0.08¢0
gpt-5.4-miniauto55.8%0.14¢0
gpt-4.1low40.1%0.43¢0
gpt-4.1auto57.5%0.66¢0
gemini-3.5-flashlow77.9%2.96¢2,876
gemini-3.5-flashauto80.1%2.80¢2,602
gemini-3.1-prolow75.5%9.53¢6,344
gemini-3.1-proauto78.4%11.12¢6,964
Low detail makes gpt-5.5 think harder
Per OpenAI’s vision docs, detail: low gives the model a low-resolution 512x512 version of the image, regardless of the original size, and bills it at a small fixed token cost. While this saves on input tokens, it also means that useful fine details may not survive the downscale.
On gpt-5.5, low detail produced 1,180 reasoning tokens per request versus 730 on auto, a 1.6x jump, plus 39% more completion tokens (489 vs 351). The model spent that extra effort squinting at small text and diagrams it could no longer read cleanly.
Output tokens bill higher than image tokens, so the cheaper input cost was offset. The same model asking same questions at low detail cost 0.6¢ per question more than auto. You paid more and scored worse.
One caution before generalizing: the token pattern varies by model. gemini-3.5-flash also used more reasoning tokens on low (2,876 vs 2,602), but gemini-3.1-pro used slightly fewer (6,344 vs 6,964), and its low run came out cheaper.
gpt-5.4-mini and gpt-4.1 don’t reason, so they sat at 0 thinking tokens on both settings. With no output side to grow, the input savings survive (more on that below).
What accuracy gains can you get from clearer images?
Switching from low to auto bought between 2 and 17 points of accuracy, depending on the model.
The OpenAI models gain the most because their low setting downscales every image to 512x512 with a small fixed token cost (85 tokens on gpt-4.1). Gemini’s low resolution keeps roughly 273 tokens per part, so it starts from a sharper baseline and has less to lose.
The gains concentrate by image type. The dataset is 76% text and OCR, plus another 19% screenshots, so most questions already sit near the model’s ceiling and barely move with detail. The clearest jump lands on charts and graphs: gemini-3.1-pro climbed from 78.6% to 91.7% on those with auto detail. Diagrams stay the hardest category either way, around a third correct (on a small sample of 21 questions).
Here’s one of those questions, a 2239×1279 mechanical engineering figure that asks you to pick the correct main view from four near-identical orthographic projections:
The four candidate views differ only in where the hatching and hidden lines sit. At auto detail, gpt-5.5 picks B, the right answer. At low, the same figure collapses to a 512px thumbnail, those thin lines blur together, and the model lands on C after a longer chain of thought. Longer reasoning is a poor substitute for a legible image.
Reasoning level has the most significant effect on cost
Detail level and reasoning effort look like they do similar jobs, but in our runs they landed in very different places. Changing detail swung accuracy by 2 to 17 points while barely touching the bill. Changing reasoning effort swung the bill by 50 to 75 percent while accuracy wandered 1 to 2 points, within noise.
Capping gpt-5.5 to reasoning=low took the low-detail cost from 5.1¢ down to 1.7¢ per question, a 67% cut, while accuracy moved 1.3 points (65.2% to 63.9%). On gemini-3.1-pro the auto run dropped from 11.1¢ to 2.7¢ and accuracy rose 1.5 points. So if you want a cheaper image pipeline, cap reasoning effort and keep the image sharp.
Low detail still pays off on non-reasoning models
On a non-reasoning model, low detail does what you’d expect. gpt-5.4-mini ran 0.08¢ per question on low versus 0.14¢ on auto, about 40% cheaper, because there’s no reasoning loop to inflate the bill. The trade is accuracy, which fell from 55.8% to 46.1%.
Latency moves the same way. gpt-4.1 averaged 960ms per request on low against 1,148ms on auto, and gpt-5.4-mini ran 1,348ms against 1,776ms. Low detail caps the image at a small fixed prompt-token cost (85 tokens on gpt-4.1), so there’s far less to read in before the model starts writing. With no reasoning loop to drag out the tail, that shorter prefill shows up as a faster response.
Picking the right detail level for your workload
The choice comes down to whether your model reasons:
- Reasoning models (gpt-5.5 and similar): keep auto or high, and use reasoning effort to control cost. In our runs, low detail scored worse on every reasoning model and cost more on two of the three.
- Non-reasoning models (gpt-5.4-mini and similar): low detail cuts cost and shaves latency, yet has reduced accuracy on text-heavy images.
Either way, the detail setting has a much smaller impact on final cost when compared to more expensive output tokens. In most cases, you’re better off leaving image detail on auto and adjusting reasoning.
OpenRouter’s image input API is unified across models, and model-specific parameters like detail level pass through via provider options, so you can tune these settings without changing your integration.
How we tested
- Benchmark: MMMU-Pro Vision (MMMU/MMMU_Pro, vision config, test split), 1,730 ten-option visual reasoning questions.
- Models: gpt-5.5, gpt-5.4-mini, gpt-4.1, gemini-3.5-flash, gemini-3.1-pro, each at low and auto detail, temperature 0, one epoch.
- Detail: OpenAI image_url.detail low/auto; Gemini per-part mediaResolution. No max-token cap.
- Image types: classified by gpt-5.4-mini vision (text/OCR, screenshot, diagram, chart, illustration, photo). Per-type accuracy was computed for the Gemini models; OpenAI per-type cells were not scored in this run.
- Metrics: accuracy from eval logs; tokens and latency from OpenRouter generation records.
- Cost: reported as cost per question, the total run cost divided by the number of questions scored in that run. Normalizing this way keeps the comparison fair across runs of slightly different size.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み