AI ラボはペリカンマックスしているか
Dylan Castillo氏の詳細な分析により、AI ラボが特定の画像（自転車に乗るペリカン）を意図的に最適化しているという「pelicanmaxxing」説は否定された。
キーポイント
Pelicanmaxxing 説の検証と否定
Dylan Castillo氏が8種類の動物×6種類の乗り物（計48プロンプト）を7つの主要モデルでテストした結果、ペリカンや自転車の描画が他より意図的に優れている証拠は見つからなかった。
包括的なベンチマーク手法
単なるランダムチェックではなく、複数のモデルを横断し、評価用AIも活用した体系的なアプローチで、特定の動物や乗り物への偏りがないことを実証した。
GLM-5.2 のわずかな例外
全体的に否定されたが、GLM-5.2 はペリカンと自転車の組み合わせにおいて微細な向上が見られたものの、統計的に有意な効果ではなく、意図的な最適化とは断定できない。
モデルの学習バイアス不存在
「記憶された画像」や「特定カテゴリへの過剰適合」といった疑念もデータによって否定され、現在の生成AIは特定のトリックに対して意図的に調整されていないことが示唆される。
重要な引用
The pelicans on bicycles don’t look any better
Labs are not better at drawing pelicans
GLM-5.2 comes closest: it has the largest boost on the exact pelican-bicycle cell, and its first pelican-on-bicycle sample caught my eye. But the effect is small and not significant
影響分析・編集コメントを表示
影響分析
この記事は、AI業界における「モデルの意図的な最適化」や「データセットの偏り」といった懸念に対し、実証的なアプローチで反証を提供しています。特に、特定の画像生成タスクが意図的に強化されているという都市伝説を科学的に否定することで、開発者の信頼性向上と、ベンチマーク手法の重要性を再認識させる役割を果たします。
編集コメント
「ペリカンmaxxing」というユーモアを込めた仮説が、厳密なデータ分析によって否定された事例は、AI業界における検証の重要性を示す良い例です。特定のモデル（GLM-5.2）のわずかな差に注目する余地はあるものの、全体的な傾向として意図的な最適化は見られないという結論は、現在の生成AIの公平性を裏付ける重要な知見と言えます。
Dylan Castillo 氏のこの素晴らしい記事では、私が以前行った 科学的根拠に乏しいベンチマーク への反応として、AI ラボが意図的に「ペリカンが自転車に乗っている画像」を描くようモデルを訓練しているのではないかという、頻繁に議論される疑問について深掘りしています。
私は過去に、他の動物が別の乗り物を乗るテストなどを通じてランダムに検証を試みていましたが、Dylan 氏の手法ほど徹底した調査は行っていませんでした。
Dylan 氏は「8 種類の動物 × 6 種類の車両」の計 48 のプロンプトを用意し、それぞれを 7 つの異なるモデル（GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2、DeepSeek V4 Pro）で 3 回ずつ実行しました。その後、結果の評価には GPT-5.6 Luna と Gemini 3.1 Flash-Lite を活用しています。
結果を探索するための便利なフィルタ表示があります：
Dylan 氏がテストしたモデルにおいて、「ペリカン・マキシング」の証拠は見つかりませんでした。
- ペリカンの自転車描写が特に優れているわけではない
- ラボはペリカンの描画が得意ではない
- ラボは自転車の描画が得意ではない
- 難易度を調整しても、ペリカンと自転車の組み合わせ描写が得意ではない
- ペリカンと自転車のシーンには記憶された痕跡が見られない […]
ペリカンも、他の動物よりも描画が優れているわけではありません。自転車も、他の乗り物よりも描画が優れているわけではありません。そして、どのラボも、ペリカンと自転車の組み合わせを、それぞれのモデルが既に予測している以上にうまく描き出せてはいません。
GLM-5.2 が最も近い結果を出しています。特に「ペリカンが自転車に乗っている」セルにおける性能向上幅は最大で、その最初の生成サンプルも私の目を引くものでした。しかし、その効果は小さく統計的に有意とは言えないため、過度に重視する必要はありません。
Via Hacker News
Tags: ai, generative-ai, llms, evals, pelican-riding-a-bicycle
原文を表示
Excellent piece of work by Dylan Castillo, who took a deep-dive into the frequently pondered question of whether the AI labs have been deliberately training models to draw pelicans riding bicycles in response to my deeply unscientific benchmark.
I've been randomly spot-checking this in the past by testing models against other animals riding other types of vehicle, but never with anything close to the diligence of Dylan's methodology here.
Dylan took 8 animals × 6 vehicles = 48 prompts and ran them three times each through 7 different models ( GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, and DeepSeek V4 Pro). He then used GPT-5.6 Luna and Gemini 3.1 Flash-Lite to help evaluate the results.
There's a neat filter view for exploring the results:
For the models he tested he could find no evidence of pelimaxxing:
The pelicans on bicycles don’t look any better
Labs are not better at drawing pelicans
Labs are not better at drawing bicycles
Labs are not better at drawing pelicans on bicycles, even adjusting for difficulty
The pelican-bicycle scenes don’t look memorized [...]
Pelicans aren’t drawn any better than other animals. Bicycles aren’t drawn any better than other vehicles. And no lab draws the combination better than its pelicans and bicycles already predict. GLM-5.2 comes closest: it has the largest boost on the exact pelican-bicycle cell, and and its first pelican-on-bicycle sample caught my eye. But the effect is small and not significant, so I wouldn’t put too much weight on it.
Via Hacker News
Tags: ai, generative-ai, llms, evals, pelican-riding-a-bicycle
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み