AI ラボはペリカンテスト対策か？
本文の状態
日本語全文を表示中
詳細モードで約18分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
TLDR AI
TLDR AI の著者が、AI ラボが「ペリカン自転車」ベンチマークに最適化している可能性を検証するため、7 つの主要モデルで SVG 生成実験を行い、その結果を公開した。
AI深層分析を開く2026年7月28日 22:11
AI深層分析
キーポイント
ペリカンベンチマークの背景と懸念
Simon Willison が長年使用してきた「自転車に乗るペリカンの SVG を生成せよ」というプロンプトは、AI ラボの公式発表において最も注目される非公式ベンチマークとなっている。しかし、巨額の資金が動く中でラボがこの指標に最適化（pelicanmaxxing）しているのではないかという懸念が浮上している。
検証実験の設計と実施
著者は Simon のプロンプトを基に、8 種類の動物と 6 種類の乗り物を組み合わせた 48 のプロンプトグリッドを作成し、7 つのフロンティアモデルに対して合計 1,008 個の SVG を生成した。
LLM 判定による評価と分析
生成された画像は LLM ジュースコアで評価され、Claude Fable 5 がその結果を分析するために使用された。この実験により、各モデルが特定のベンチマークに対してどのように振る舞っているかが可視化される。
検証手法の公開と透明性
著者は今回の実験で用いたすべてのコードを Github に公開しており、読者が再現性を確認できるようになっている。これにより、ベンチマーク最適化の有無について客観的な議論が可能となる。
実験の設計と手法
著者は「ペリカンが自転車に乗る」を含む8種類の動物と6種類の乗り物の組み合わせで48通りのプロンプトを作成し、7つの主要モデルから1,008枚のSVG画像を生成して評価した。
重要な引用
"What began as a tongue-in-cheek benchmark has become one of the most famous informal benchmarks in AI."
"When billions or even trillions of dollars are at stake, and a strong result could help persuade users, wouldn't it be tempting to pelicanmaxx your model just a bit?"
"I generated 1,008 SVGs across seven frontier models, scored them with an LLM judge, and used Claude Fable 5 for the analysis."
"The benchmark is now famous enough that there's plenty of discussion about its usefulness and about whether AI labs might be benchmaxxing on it."
編集コメントを表示
編集コメント
この記事は、AI モデルの性能評価において「公式ベンチマーク」だけでなく、コミュニティが形成した非公式なテスト指標も重要な役割を果たしていることを示唆している。著者が公開した実験データは、各モデルのバイアスや最適化傾向を理解する上で貴重なリソースとなるだろう。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
ここ数年、Simon Willison は主要な大規模言語モデル（LLM）のリリースごとに、同じプロンプトでテストを行ってきました。「自転車をこぐペリカンの SVG を生成せよ」というものです。
当初は皮肉めいたベンチマークとして始まったこの手法は、AI 業界における最も有名なインフォーマルな評価基準の一つとなりました。Simon の「自転車に乗るペリカン」の結果は、AI ラボが新モデルを発表する Hacker News のスレッドにおいて、最も高評価を集めるコメントの常連となっています。
このベンチマークはすでに有名になりすぎており、その有用性や、AI ラボがこのテストでベンチマックス（最適化）を行っているのではないかという議論が 多数 あります。数十億、あるいは数兆ドルの利益がかかっている状況で、強力な結果がユーザーを説得する助けになるなら、モデルを少しだけ「ペリカンマックス（ベンチマークに最適化）」したくなるのは当然ではないでしょうか。
私はその真相を知りたくて小規模な実験を行いました。7 つの最先端モデルに対して 1,008 個の SVG を生成し、LLM による判定で採点、さらに Claude Fable 5 で分析を行いました。
この記事ではその結果を報告します。すべてのコードは Github で公開されています。
テスト方法
私は「8 種類の動物 × 6 種類の乗り物」の組み合わせで、計 48 のプロンプトからなるグリッドを構築しました。有名な「自転車に乗るペリカン」のプロンプトは、その中の一つのセルに相当します。
対象とした動物はペリカン、フラミンゴ、アオサギ、カワウソ、アライグマ、アンテロープ、クジラ、そして猫です。また、乗り物としては自転車、一輪車、スケートボード、スクーター、飛行機、ボートを設定しました。
プロンプトはシモンのものと同じ構成をほぼ踏襲し、動物と乗り物の組み合わせのみを変更しています。動物と乗り物の選定には厳密な手法を用いていませんが、元のプロンプトとの類似度や難易度のバランスが取れるよう、両方を変化させるように心がけました。フラミンゴとアオサギはペリカンに似ており、猫・アライグマ・カワウソは比較的容易なケースです。一方、アンテロープは難しく、クジラは最も異なる存在と言えます。
OpenRouter を通じて 7 つのモデルをテストしました。対象は「GPT-5.6 Terra」、「Claude Sonnet 5」、「Gemini 3.5 Flash」、「Grok 4.5」、「Qwen3.7-Max」、「GLM-5.2」、そして「DeepSeek V4 Pro」です。各プロンプトに対して温度パラメータを 1.0 に設定し、すべてのモデルに同様の推論負荷を課してサンプルを 3 件ずつ生成しました。その結果、合計 1,008 枚の SVG ファイルが作成されました。
次に、生成された画像を 3 つの工程からなるパイプラインに通しました。
- レンダリング: 各 SVG を PNG 形式に変換します。もしモデルが SVG を返さないか、レンダリングに失敗した場合は、有効なファイルが出力されるまで再生成し、その試行回数を記録します。1,008 件の生成のうち、再試行が必要だったのはわずか 11 回でした。
- 採点: 「GPT-5.6 Luna」が各画像を評価し、動物の描写、乗り物の描写、そして動作の一貫性についてそれぞれ 1 から 5 のスコアを付与します。以下で動物や乗り物をランク付けする際は、それぞれの項目に対応する個別のスコアを使用します。一方、画像ごとに単一の数値が必要な場合は、これら 3 つのスコアの平均値を採用し、「ジャッジスコア」と呼んでいます。
より詳細な分析のために、生成された各画像を *Gemini 3.1 Flash-Lite* に読み込ませ、認識した動物や車両、被写体の向き、そしてシーン要素の自由記述リストを取得しました。
私の仮説は、もし何らかの実験室がベンチマークデータで学習していたなら、「ペリカン」行のスコアが実際の動物の価値を超えていたり、「自転車」列のスコアが車両の本来の価値を超えていたり、あるいは「ペリカン×自転車」という特定のセルが両者を上回ったりするはずです。
証拠その1：ペリカンの乗った自転車の画像は、以前より良くなっていない
スコアリングを行う前に、最も単純なテストとして画像自体を直接確認しましょう。ある実験室の生成結果をすべて見て、各画像の下に表示された評価者のスコアを確認できます（クリックするとフルサイズで表示されます）。
LabSample
pelican
bicycle
failed
A4 · V5 · C4
unicycle
failed
A5 · V4 · C5
skateboard
failed
A5 · V4 · C5
scooter
failed
A4 · V4 · C3
plane
failed
A4 · V5 · C5
boat
failed
A5 · V5 · C5
flamingo
bicycle
failed
A5 · V4 · C3
unicycle
failed
A4 · V4 · C4
skateboard
failed
A4 · V5 · C3
scooter
failed
A5 · V5 · C5
plane
failed
A4 · V5 · C3
boat
failed
A4 · V5 · C4
heron
bicycle
failed
A5 · V5 · C4
unicycle
failed
A4 · V4 · C5
skateboard
failed
A4 · V5 · C5
scooter
failed
A5 · V5 · C5
plane
failed
A5 · V1 · C1
boat
failed
A5 · V5 · C5
otter
bicycle
failed
A5 · V4 · C2
unicycle
failed
A5 · V3 · C3
skateboard
failed
A5 · V5 · C5
scooter
failed
A5 · V4 · C5
plane
failed
A3 · V5 · C5
boat
failed
A4 · V5 · C4
raccoon
bicycle
failed
A5 · V3 · C4
unicycle
failed
A5 · V3 · C3
skateboard
failed
A5 · V5 · C5
scooter
failed
A5 · V5 · C4
plane
failed
A5 · V5 · C5
boat
failed
A5 · V5 · C5
antelope
bicycle
failed
A5 · V5 · C3
unicycle
failed
A4 · V4 · C4
skateboard
failed
A4 · V5 · C4
scooter
failed
A4 · V5 · C3
plane
failed
A5 · V5 · C4
boat
failed
A5 · V5 · C5
whale
bicycle
failed
A5 · V3 · C3
unicycle
failed
A5 · V3 · C3
skateboard
failed
A5 · V4 · C5
scooter
failed
A5 · V5 · C4
plane
failed
A5 · V5 · C5
boat
failed
A5 · V5 · C5
cat
bicycle
failed
A5 · V3 · C3
unicycle
failed
A5 · V4 · C3
skateboard
failed
A5 · V5 · C5
scooter
failed
A5 · V4 · C4
plane
failed
A5 · V5 · C5
boat
failed
A5 · V5 · C5
私は以下の分析を実行する前に、画像を自分で確認しました。特筆すべき点は見当たりませんでした。
ペリカンと自転車の組み合わせが、そのモデルの他の生成結果よりも明らかに優れているケースは見つかりませんでした。GLM-5.2 の最初のサンプルでは少し良く見える印象を受けたかもしれませんが、そのバッチにはスケートボードに乗るカッコいいアオサギも含まれていましたので、断定はできません。
それ以外は、各モデルが描く他の画像と同様の品質です。ペリカンと自転車の組み合わせを上手に描けるラボは、他の動物と車両の組み合わせについても同様に高い精度で描画できています。
ただし、このテストは再現が難しく、人によって評価も異なります。そのため、より定量的な手法が必要だと考え、上記で詳述した方法を採用しました。
証拠その2：ラボはペリカンの描画において他者よりも優れていない
全モデルを統合した動物ごとの平均評価点は以下の通りです。
ペリカンは8種類中6位で、猫、クジラ、アライグマ、サギ、アンテロープに次いでいます。もし AI ラボがベンチマークデータを用いて学習していたのであれば、ペリカンが上位に来るはずです。しかし実際には下位半分にとどまっています。7 つのラボすべてにおいて、猫やクジラ、アライグマの描画はペリカンよりも優れています。
もちろん、ペリカンは猫に比べて描くのが難しいだけかもしれません。ペリカンの学習を行っても、簡単な動物には及ばない可能性があり、この順位付けだけではその可能性を完全に否定できません。難易度については証拠その4で補正します。
証拠その3：ラボは自転車の描画においても他者よりも優れていない
自転車に至ってはさらに評価が低く、2 位下（最下位の手前）に位置し、最下位の飛行機とほぼ同点です。
もしラボがベンチマークデータを用いて学習していたのであれば、自転車は上位に来るはずです。しかし実際にはそうではありません。ただし、先ほどの注意点と同様に、自転車はスケートボードよりも描画が難しいという事情があります。2 つの車輪を一致させ、両方の軸に届くフレームを持ち、ハンドル、シート、ペダルも必要だからです。審査員は、自転車の画像の 3 分の 2 で、これらの要素のいずれかが欠落しているか接続されていないと判定しています。自転車画像で学習しても、より単純な車両と比較すれば完璧な描画ができない可能性は残ります。
飛行機に関する一つ補足ですが、私は「airplane」ではなく「plane」という単語を選んだべきでした。なぜなら、AI モデルはこれを幾何学的な形状として解釈する傾向があるからです。その結果、多くのモデルが飛行機を空で飛んでいる姿ではなく、平らな地面に立っている動物として描いてしまいました。
「plane」は、特徴抽出機能が全く車両を検出しない唯一のケースでした（168 枚のうち 25 枚で検出されず、他の 5 つの車両ではゼロ）。また、「plane」画像の 20% が車両評価で 1 または 2 という低いスコアをつけられましたが、自転車では 5%、ボートやスクーター、スケートボードでは全くありませんでした。
根拠 #4：難易度を調整しても、ラボが自転車のペリカンを描くのが上手いわけではない
これらを組み合わせると、「自転車のペリカン」はランキングの最下位付近である 48 件中 42 位に位置することになります。
しかし、組み合わせによっては他のものよりも描画が難しい場合もあるかもしれません。
それを考慮するため、1,080 枚すべての画像に対して固定効果回帰モデルを適用しました。スコアは「ラボ＋動物×車両」の項に加え、ペリカン、自転車、そしてペリカンと自転車の組み合わせに関する各ラボごとの交互作用項を含み、頑健な標準誤差を用いています。「動物×車両」の項は、48 の組み合わせすべてが持つ本質的な難易度を吸収します。交互作用項は、平均的なラボに対する各ラボのベンチマーク固有の向上分を測定し、信頼区間も示しています。
その結果は以下の通りです。
- 各ラボにおけるペリカンの効果（6 つの車両すべてにわたるペリカンへのブースト）は、判定スコアで -0.11 から +0.14 の範囲内に収まり、いずれも統計的に有意ではありませんでした（最小の p 値 = 0.25）。
各ラボごとの自転車効果（8 種類の動物すべてにおける自転車の性能に対するラボの寄与）は、*Grok 4.5* の -0.18 (p=0.11) から *Gemini 3.5 Flash* の +0.27 (p=0.022) まで広がっています。p 値で有意と判定されたのは Gemini だけです。以下に各ラボの推定値をすべて示します。
「ペリカン最大化」を行っているラボであれば、その行全体がゼロ線の右側にプロットされるはずです。
すべてのペリカンの区間とすべてのセルの区間にゼロが含まれています。例外はただ一つだけあります：自転車列における *Gemini 3.5 Flash* です。しかし、21 の検定を行って p < 0.05 を基準とする場合、偶然だけで約 1 つの偽陽性（21 × 0.05 ≈ 1.05）が現れることが予測されます。実際に現れたのもちょうど 1 つでした。さらに、多重比較補正を適用すると生存しません。21 の検定全体に対する Bonferroni 閾値は 0.05/21 ≈ 0.002 ですが、その p 値は 0.022 です。推定値と p 値の完全な表は リポジトリ にあります。
ただし、これらの区間は幅広で、平均して約 ±0.6 の判定者ポイントに相当します。これより小さい効果はこの検定では捉えられません。
証拠 #5：ペリカンと自転車のシーンは記憶されたものではない
ペリカンの自転車画像が記憶された構成のように見えるという指摘があります。具体的には、ペリカンが常に右向きであることや、太陽やスカーフといった共通の要素が繰り返されることなどが根拠として挙げられています。そこで、これが事実かどうかを確認しました。
方向性: 7 つのラボにまたがる全 21 枚のペリカンと自転車の画像は、すべて右を向いています。他の動物と車両の組み合わせでこれを行うものはありません。
ただし、右向きは一般的です。1,008 枚の画像のうち 60% がそうでした。その頻度は動物や車両の種類によって異なり、特に自転車では最も強く見られる傾向の一つです。
| 車両 | 左側 | 右側 | 曖昧 |
|---|---|---|---|
| スクーター | 9% | 83% | 8% |
| 自転車 | 11% | 81% | 8% |
| スケートボード | 19% | 60% | 21% |
| 飛行機 | 21% | 58% | 21% |
| 一輪車 | 22% | 45% | 33% |
| ボート | 33% | 35% | 32% |
ペリカンも、右を向く傾向がある動物の一種です。
| 動物 | 左側 | 右側 | 曖昧 |
|---|---|---|---|
| アンテロープ | 21% | 78% | 1% |
| ペリカン | 22% | 78% | 0% |
| サギ | 22% | 77% | 1% |
| クジラ | 34% | 65% | 1% |
| フラミンゴ | 36% | 64% | 0% |
| カワウソ | 8% | 45% | 47% |
| 猫 | 8% | 40% | 52% |
| アライグマ | 3% | 36% | 61% |
ペリカンや自転車など、正面から見た図を描くのは難しいため、モデルはほぼ例外なく横顔（左向きか右向き）で描きます。そのため、曖昧な画像がほとんど存在しないのです。
他の組み合わせでも同様の傾向が見られます。「スクーターに乗ったアンテロープ」や「スクーターに乗ったペリカン」では 21 枚中 20 枚、「自転車に乗ったサギ」では 21 枚中 19 枚が一致しています。つまり、21 枚中 21 枚という結果は外れ値とは考えにくいです。
シーン要素: エクストラクターに画像内の任意の要素を名付けさせました。その集計結果は以下の通りです。
記憶されたシーンは、絵を描くたびに同じ要素セットが繰り返されるはずです。私はそれを検証しましたが、特定の組み合わせでは毎回同じ要素が現れる傾向があることが分かりました。例えば、「ボートに乗ったフラミンゴ」には必ず太陽が含まれます。「飛行機に乗ったカワウソ」は 38% の確率でスカーフを身につけています。「自転車に乗った猫」も 38% の確率でバスケットが付いています。
一方、「自転車に乗ったペリカン」に特筆すべき違いは見当たりません。他の動物と車両の組み合わせと同様に、特定の要素が頻繁に現れるだけです。
LLM 1 つの判定器による採点
今回のスコアはすべて、単一のモデル「GPT-5.6 Luna」が画像を一枚ずつ評価した結果です。私はこのモデルに対して大幅な調整を行っておらず、再実行時に自己矛盾していないかどうかも確認していません。もしあるモデルが絵画の判定を信頼できるレベルで行えないのであれば、上記の数値に大きな意味はありません。また、この判定器も出場者の一人である「GPT-5.6 Terra」と同じファミリー出身です。しかし、すべてのラボが 48 パターンの組み合わせを描画するため、たまたまあるラボのスタイルを好む判定器であれば、そのラボ全体のグリッドスコアが一気に引き上げられてしまいます。ただし、これは結果に影響しません。なぜなら今回の分析は「ラボ内での差」にのみ注目しているからです。
SVG の最適化（SVGmaxxing）
SVG 生成全体（あるいは車両上の動物などの特定のサブセット）を最適化したラボは、すべてのセルで同時にスコアが上昇し、単に性能が高いだけのラボと見分けがつかなくなります。Google/DeepMind などの一部のラボでは、この手法を公然と認めています。しかし、今回の実験ではそれを検出することはできません。
限られた予算
今回の実験全体で使った API クレジットは約 80 ドルでした。この予算制限により、各セルでのサンプル数は最大 3 回、判定器は 1 つのみ、対象モデルは 7 つに限定されました。これにより、「飛行機」対「エアプレーン」といったケースのように、プロンプトやパイプラインの微調整を繰り返すことも不可能でした。
結論
HN の批判者の方々へ申し訳ありませんが、AI ラボが「ペリカンマックス（Pelicanmaxxing）」を行っているという決定的な証拠はほとんど見当たりません。あるいは、彼らがそれをやっているとしても、あまりにも明白な方法ではないのかもしれません。
ペリカンや自転車は、他の動物や車両に比べて特別に描き込まれているわけではありません。また、どのラボも「ペリカンが自転車を走らせる」という組み合わせを、各ラボの既存モデルが予測するものよりもさらに巧みに描いているわけではありません。GLM-5.2 が最も近い結果を出しましたが、これはまさにその「ペリカンと自転車」のセルにおいて最大の向上を示し、最初の生成サンプルも私の目を引くものでした。ただし、その効果は小さく統計的に有意ではないため、過大評価すべきではありません。
もう一つ目立つのは、シーン構成における方向性です。グリッド内の 21 枚すべてのペリカンと自転車の画像が右向きで、これは唯一全画像の向きが一致した組み合わせでした。しかし、これほど奇妙なことでもないでしょう。実験全体を通じて「右向き」は標準的な傾向であり、他の 3 つの組み合わせでも 90% 以上の達成率を記録しています。48 の組み合わせがある中で、1 つが 21 枚すべてで一致したのは驚くことではありません。
より可能性が高いのは、Google や DeepMind が行っているような「SVGmaxxing（ベンチマーク最適化）」です。他のラボも同様の手法を静かに実践しているかもしれません。残念ながら、今回の実験では誰が行ったのか特定することはできません。それでも今夜は安心して眠れるはずです。AI ラボが Simon Willison を騙すために、ペリカンが自転車に乗る映像をテラバイト単位で生成しているわけではないのです。
ご自身でデータを確認したい場合は、フルパイプラインを こちら のリポジトリでご覧ください。
Footnotes
- 人気ベンチマークで高いスコアを獲得するために AI モデルを最適化する実践のこと。↩︎
Citation
BibTeX citation:
@online{castillo2026,
author = {Castillo, Dylan},
title = {Are {AI} Labs Pelicanmaxxing?},
date = {2026-07-18},
url = {https://dylancastillo.co/posts/pelicanmaxxing.html},
langid = {en}
}
引用の際は、以下の通り記載してください：
Castillo, Dylan. 2026.「AI ラボはペリカン・マキシングしているのか？」7 月 18 日。https://dylancastillo.co/posts/pelicanmaxxing.html。
AI算出
技術分析ainew評価高い
AI モデルのベンチマーク対策に関する疑念に対し、著者が独自に大規模な生成実験を行い、具体的なスコアと結果を提示した点で高い技術的価値を持つ。また、GPT-5.6 や Claude Sonnet 5 など最新モデル名が明記されており検索機会も高い。
6つの評価軸を見る
- AI関連度
- 100
- 情報源の信頼性
- 50
- 新規性
- 75
- 調べる価値
- 75
- 重複の少なさ
- 100
- 日本での有用性
- 25
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み