AI ラボはペリカンテスト対策か？

記事の3ポイント

1. 1

   ペリカンベンチマークの背景と懸念

   Simon Willison が長年使用してきた「自転車に乗るペリカンの SVG を生成せよ」というプロンプトは、AI ラボの公式発表において最も注目される非公式ベンチマークとなっている。しかし、巨額の資金が動く中でラボがこの指標に最適化（pelicanmaxxing）しているのではないかという懸念が浮上している。

2. 2

   検証実験の設計と実施

   著者は Simon のプロンプトを基に、8 種類の動物と 6 種類の乗り物を組み合わせた 48 のプロンプトグリッドを作成し、7 つのフロンティアモデルに対して合計 1,008 個の SVG を生成した。

3. 3

   LLM 判定による評価と分析

   生成された画像は LLM ジュースコアで評価され、Claude Fable 5 がその結果を分析するために使用された。この実験により、各モデルが特定のベンチマークに対してどのように振る舞っているかが可視化される。