Cline、12セントでIMO金メダル達成とオープンウェイトAIの性能を報告

IMC（国際数学オリンピック）の金メダルを、可能な限り低コストで獲得する方法を知りたくて、Cline 上で 8 つのモデルに IMO 2026 の問題に取り組ませ、証明を盲検評価しました。

その答えは、わずか 12 セントでした。

最先端モデルが完璧な解答を出す事例については既に多くの報道がありますが、私たちが注目したのは、オープンウェイトモデルでも金メダルを獲得できる点です。DeepSeek V4 Flash の実行結果は 30/42 で、金メダルの基準点である 29 点をクリアしました。これは Claude Fable 5 と比較して約 140 倍も安価なコストでした。

本稿では、問題設定と評価方法について解説し、これらの実行から得られたすべてのトレースデータを紹介していきます。

問題設定

元のベンチマークは 8×6 の行列で構成されていました。8 つのモデルと、IMO 2026 の 6 つの問題が組み合わさり、有効なセル数は合計 48 です。

• GPT-5.6 Sol
• Claude Fable 5
• Kimi K3
• DeepSeek V4 Flash
• Qwen 3.6 35B A3B
• DeepSeek V4 Pro
• GLM 5.2
• MiMo V2.5 Pro

各モデルには問題文と、「最も確信のある完全な最終解答」を提出するよう指示する 1 つの命令が与えられました。実行完了には、提出ツールが使用されました。

元の対称パネルでいくつかのハッチング（枠組み）の不具合が発見されたため、すべてのモデルが最高得点を狙えるよう、Cline ハッチング内のツール呼び出しの問題を修正しました。これにより、失われた点数はツールの不備ではなく、実際のモデル性能によるものとして評価されます。

採点

IMO の採点は、0～7 点のスケールに基づいて匿名で行われました。各提出物には、GPT‑5.5 と Claude Opus 5 という 2 名の独立したモデル非依存の採点者が評価し、意見が分かれた場合は Gemini 3.1 Pro が最終調整を行いました。参照用として GPT-5.6 Sol を完全正解スコア（42/42）に設定しましたが、他のグループも独自の環境で同様の完全得点を再現しています（ただしハッチングの設定は異なります）。今年度の金メダル獲得ラインは 29 点でした。

各候補の解答は、一度も改ざんできない匿名バッチに格納されました。採点者は問題文、提出された証明、評価基準、比較用参照資料（Lean による解法を含む）を確認できますが、モデルの特定情報は隠されており、バイアスを排除しています。IMO の採点ルールが遵守されているか、最終結果が検証を通過しているかも確認しました。

報酬ハッキングを防ぐための対策として、システムプロンプトでインターネット利用を無効化し、提出機能のみを提供するツールに限定しました。Lean による成果物や思考過程など、問題に関する事前情報は一切提供せず、各モデルは自らの能力だけで取り組む必要がありました。また、ブラウザ操作の痕跡がないかも確認しています。さらに、IMO 2026 の問題は新出題のため、これらのモデルの学習データにはまだ含まれていません。

ただし、IMO（国際数学オリンピック）の問題は従来のコーディングベンチマークとは異なり、安定した母集団推定値ではありません。プロンプトの微調整や再試行、オープンウェイトモデルにおけるプロバイダー側の問題など、小さな変化がスコアを多少変動させる可能性があります。本研究では全モデルに対して複数回の試行を行い、標準的な Pass@k などの指標ではなく、各問題で得られた最高スコアを採用しました。なお、以下の表に示す価格は、ツール呼び出しの問題を解決するために必要な探索プロセス全体のコストではなく、各モデルが記録した単一の最良実行結果の価格です。

一般的に、ベンチマークの結果には常にばらつきがあることを念頭に置く必要があります。本研究では、ユニットテスト（数学オリンピックの問題には通常ユニットテストが付属していないため）や公式の Lean グレーダーの代わりに、LLM をジャッジとして使用しました。非公式の Lean による解法は こちら で確認できます。

約束通り、各モデルからのすべてのソリュート・トレースをここに添付しました。これらのトレースには、価格、生成コスト、および各モデルが提示した解が含まれています。

モデルスコアと価格

• モデル：最高スコア / P1–P6 の結果 / 価格
• GPT-5.6 Sol：42/42 / 7 · 7 · 7 · 7 · 7 · 7 / $3.2336
• Claude Fable 5：41/42 / 7 · 7 · 6 · 7 · 7 · 7 / $17.1956
• Kimi K3：35/42 / 7 · 4 · 7 · 7 · 7 · 3 / $5.1328
• DeepSeek V4 Flash：30/42 / 7 · 4 · 3 · 7 · 7 · 2 / $0.1215
• DeepSeek V4 Pro：30/42 / 7 · 4 · 2 · 7 · 7 · 3 / $0.4761
• MiMo V2.5 Pro：30/42 / 7 · 2 · 3 · 7 · 7 · 4 / $1.0650
• GLM 5.2：21/42 / 7 · 0 · 0 · 7 · 7 · 0 / $2.3855
• Qwen 3.6 35B A3B：16/42 / 7 · 2 · 1 · 2 · 3 · 1 / $0.2251

IMO 2026 人間の中央値

16/42

7 · 1 · 0 · 7 · 2 · 0

高校の社交生活

imageIMO における AI モデルの歴史

実は 2024 年、DeepMind が開発した独自モデル「AlphaProof」（一般公開はされていません）が IMO で銀メダルを獲得しました。当時は問題文を Lean という形式に変換して解かせていたのです。このモデルは 1 つの問題を数分で解決しましたが、他の問題には最大で 3 日かかったとされています。一方、人間は 2 日間にわたって、4.5 時間ごとのセッションで問題を解いていました。

そして 2025 年、Gemini Deep Think の改良版が、公式の自然言語による問題記述を直接読み取る形で金メダルレベルの成績を達成しました。

imagehttps://x.com/demishassabis/status/1947337615054671882?lang=en

2026 年、IMO や他の数学オリンピックにおける問題解決能力は飛躍的に向上しました。まず、Riemann bench など、より複雑で長期的な思考を要する数学ベンチマークへと移行したことが挙げられます。その結果、これまで未解決だったエルデシュ（Erdős）の問題の数々をモデルが解けるようになりました。また、ハダマール行列やヤコビアン予想など、他の興味深い数学問題に対する新たな解答も今年公開されています。

しかし、何よりも特筆すべきはオープンウェイトコミュニティから生まれた成果です。

DeepSeek V4 Flash の独自性

今年における最も重要な進展は、オープンウェイトモデルのパフォーマンスが桁違いに向上したことです。特筆すべきは、DeepSeek V4 Flash がオリンピック問題向けに特別に微調整されたモデルではない点です。私たちはこのモデルのエンドポイントに直接アクセスし、金メダルを獲得しました。

このモデルの総パラメータ数は 284B（MoE 構造）で、トークンあたりに活性化されるのは約 13B です。決して小さなモデルではありませんが、過去数年で使われていた数兆パラメータ規模のモデルと比べれば、はるかに軽量です。DeepSeek V4 Flash は、小規模なローカル GPU 環境でも動作させながら IMO（国際数学オリンピック）の金メダルを獲得できる、現時点では唯一のモデルです。

これはオープンウェイトモデルの可能性に対する大きな証明であり、知能のフロンティアを押し広げると同時に、最も優れたコストパフォーマンスを実現していることを示しています。

私たちはこう断言します。2027 年の IMO 問題は、スマートフォン上で動作するローカル LLM（大規模言語モデル）によって解決されるようになるでしょう。そして、ソフトウェアと数学の未来はオープンウェイト AI にあります。

参考リンク

公式 IMO 2026 問題ページ

完全な Cline ソリューション追跡インデックス

完全な 3.2 MB の証拠アーカイブ

IMO 2026 Lean Solutions