Simon Willison、GPT-6 Astraの推論レベル比較グリッドを公開

先ほど、GPT-6 Astra にアクセスできるようになったので、当然のことながらペリカンが自転車に乗っている SVG イメージを生成してみました。推論レベルは低（low）、中（medium）、高（high）、超高（xhigh）、そして最大（max）の 5 つで試しています。なお、Astra では reasoning=none はサポートされていません。

その後、これらのペリカンを GPT-5.6 の Sol、Terra、Luna とともに比較グリッドにレンダリングしました。単なるお遊びにとどまらず、結果は思わぬほど有用なものでした。

高品質な画像は こちら のグリッドをご覧ください。GPT-6 Nova でペリカンを生成した際のプロンプト（転記）を以下に示します。

このグリッドから浮かび上がる、いくつかの興味深い点があります。

Astra のペリカン生成結果は、GPT-5.6-Sol と比べて圧倒的に優れています。特に「xhigh」設定が「max」より好みですが、ベストな Sol モデルですら抽象的な形状の集合に過ぎません。それに対し、Astra の低設定から xhigh まですべてのモデルの方がはるかに自然で、特に Astra の「max」設定の結果は非常に素晴らしいものです。

ただし、Astra の「max」未満の設定では、フレーム内の両側にペリカンの脚が確実に描かれるとは限りません。

コスト面では、Astra は Sol よりも約 2 倍の価格帯にあります（入力 100 万トークンあたり 10 ドル、出力 100 万トークンあたり 50 ドルに対し、Sol はそれぞれ 5 ドルと 30 ドル）。しかし、Astra は各レベルで使用するトークン数が大幅に少ないため、結果として各設定間の価格差は、単純な比較よりも狭いものになっています。

Astra の「low」設定でも、9.55 セントという低コストで、Sol モデルのどの設定よりも優れたペリカンを生成します。他のモデルに 10 セントを費やしても、これほど良い結果は得られません。

入力トークン数を見ると、Astra と Luna はどちらも 16 トークンを使用しているのに対し、Sol と Terra は 26 トークンでした。この違いも興味深いですね。

もしかすると、Astra と Luna は OpenAI が公にしている以上に密接に関連しているのかもしれません。

Tags: ai, openai, generative-ai, llms, pelican-riding-a-bicycle, gpt-6-astra