OpenAI GPT-6 Astra、ARC-AGI-3 で人間基準を突破

公開日：2026 年 9 月 3 日

まとめ

• GPT-6 Astra は、ARC-AGI-3 Semi-Private で標準的なハッチャー（Standard harness）を使用し、$26K の予算で 62.7% のスコアを記録しました。この環境では、モデルが自ら選択したメモを環境全体を通じて保持・引き継ぐことが可能です。また、プロバイダーアダプター（The Provider Adapter）ハッチャーを使用した場合、$19K で 99.9% を達成しています。この方式は、リクエスト間での非対称な推論状態を維持し、圧縮技術を活用して長文の会話でも過去の成果を再利用できるように設計されています。

• GPT-6 Astra は、ARC-AGI-3 における行動効率で人間の基準値を上回りました。テストされた人間の中央値と比較すると、96% のレベルでより少ないアクション数で課題を解決しています。

• GPT-6 Astra が示した重要な挙動の一つは、見慣れない環境をコンパクトな記号的世界モデルに変換する能力です。ゲームのメカニズムを論理的ルールとして表現し、状態を追跡して行動を計画するための独自のドメイン固有言語（略語）を開発しました。

ARC-AGI-3 について

ARC-AGI-3 は、新規で抽象的なターン制環境を通じてエージェント知能を研究するためのベンチマークです。エージェントは明示的な指示なしに、探索を行い、目的を推測し、環境の内部モデルを構築して効果的に行動を計画する必要があります。

ARC-AGI-3 を実際に体験することも可能です。

お使いのブラウザでは埋め込み動画がサポートされていません。

これらの環境には、コア知識の事前情報のみが含まれており、人間参加者による制御されたテストを通じて難易度が調整されています。人間はこれらの環境の 100% を解決可能です。

ARC-AGI シリーズの目的は、現在の人工知能と AGI（汎用人工知能）との間の「残存ギャップ」を測定することです。ここで定義する AGI とは、人間が持つあらゆるスキルを、人間と同じ効率で習得できるシステムの能力を指します。

ARC-AGI-3 は、ARC-AGI ベンチマークシリーズの第 3 世代です。これは、ARC-AGI-1 や ARC-AGI-2 を超えたエージェント能力をテストするものです。各世代は前世代の成果を踏襲・拡張しており、最先端 AI の能力が進化するにつれて、ベンチマークもそれに合わせて進化させる必要があります。

ARC-AGI-3 は、エージェント知能の 4 つの主要コンポーネントを検証します。

• 探索: 現実世界の環境では、情報は受動的に与えられることは稀です。エージェントは周囲と相互作用することで、積極的に情報を取得する必要があります。

• モデリング: エージェントは生きた観測データを、将来の状態や結果を予測できる汎用的なモデルに変換しなければなりません。

• 目標設定: エージェントは、報酬が限られた状況下で、目指すべき将来の状態を特定する必要があります。

• 計画と実行: エージェントは現在の状態から目標までの経路を策定し、新たな情報が得られるたびにその経路を修正しながら実行する必要があります。

Astra の結果

*GPT-6 Astra は、Standard ハネスと Provider Adapter ハネスの両方で ARC-AGI-3 において最高スコアを記録しました。推論レベルが高くなるほどコストが抑えられるのは、Astra がゲームをより少ないアクションで解決するため、モデル呼び出しやトークンの総数が減るからです。詳細結果はこちら。

Standard ハネスでは、モデルが環境全体を通じて保持したいメモを引き継ぐことが可能になります。これにより OpenAI の Astra (max) は、ARC-AGI-3 Semi-Private で 62.7% のスコアを達成し、コストは約 26,000 ドルでした。一方、Provider Adapter ハネスでは、非透明な推論状態がリクエスト間で保持され、長い会話には圧縮機能が活用されるため、Astra (high) は 99.9% のスコアで約 19,000 ドルという結果を出しました。どちらも現時点での最高記録です。リーダーボード全体はこちら。

コスト比較のため、当社の統制されたテストでは、参加者には 90 分間のセッションあたり 115 ドル、完了したゲームごとに 5 ドルの報酬を支払いました。参加者は 1 セッションあたり約 9 ゲームに挑戦しており、ボーナスを加味する前の 1 ゲームあたりのコストは約 12.78 ドルとなります。

この報酬の大部分は、脳が消費するエネルギー（AI と比較するためのより適切な指標）ではなく、テストを受けるための参加者の時間と*意欲*に対する対価です。もし脳のエネルギー消費のみを電気代として換算すると、1 セッションあたり約 0.6 セント、挑戦したゲーム 1 つあたり 0.067 セントにまで低下します。

分析

スコアだけでなく、Astra のリプレイからは、見慣れないゲームのメカニズムをどのように有用な動作モデルに変換しているかが読み取れます。特に注目すべきは、3 つのポイントです。それが開発したコンパクトな代数記法、人間との比較における行動効率、そして独自に構築したツールです。

カスタム代数記法

ARC-AGI-3 をプレイする際、Astra はどの戦略メモを次の段階へ引き継ぐかを選択します。対象物や座標、ルール、未完了の計画を追跡すると同時に、その環境のために生成した独自ドメイン固有言語の記法も活用しています。

他のモデルでも同様の挙動が確認されていますが、Astra のノートは精度と情報密度において際立っていました。このモデルは、オブジェクトの位置や相互作用、そして何らかの順序で実行すべきアクションを特定する、コンパクトなコード風の記号的モデルへとシーンを要約しました。これは完全なプログラミング言語というよりは、その場で生成される代数的な略記法です。

例えば：

• ゲームの状態: L8: hub q2 (8↓). Lengths: 14=1… は、レベル番号、ローカル回転インデックス、メカニズムの長さを記録しています。s5i5, frame 219

• マルチステッププラン: extend8 to3; retract10 to2; shorten8 to1 は、色 8 と色 10 のメカニズムに対する変更の順序付きシーケンスを記録しています。s5i5, frame 219

• コントロールと座標: 9−=(39,4), rotate=(49,18), 14+=(59,11) は、操作を実行するコントロールの座標をマッピングしています。s5i5, frame 235

行動効率：人間との比較

ARC-AGI-3 の公開に先立ち、約 500 人の一般参加者を対象にテストを実施し、行動効率の人間基準値を確立しました。ここでいう行動効率は、各環境を解決するまでの「速さ」を指します。なお、参加者にはパズル解決の経験や能力は問われませんでした。

各レベルにおける「人間の基準値」としては、そのレベルをクリアしたプレイヤーたちの行動数中央値を採用しました。これにより、人間と AI のパフォーマンスを比較するための基準が得られます。AI が人間よりも多くの行動数を要する場合は「非効率」、より少ない行動数で完了できる場合は「効率的」と評価されます。

• 時間と位置情報: Turn 5: P=(24,20), empty, facing west は、ターン数カウンターにプレイヤーの現在地（座標）、空の状態、進行方向を組み合わせたものです。これは状態と向きを保持する役割を果たします。wa30, frame 708

The Provider Adapter は、リクエスト間の不透明な推論状態を保持し、長い会話では圧縮（compaction）を活用することで、モデルが過去の作業を再利用可能にします。この仕組みにより、Astra (max) は ARC-AGI-3 の全レベルの 96.0% で人間ベースラインよりも少ないアクション数で解決し、平均して 1 レベルあたり 51.7% も少ないアクションで済みました。これは行動効率という観点において、人間との同等性を達成し、それを上回る重要なマイルストーンです。

ちなみに、ARC-AGI-3 を公開する前に、私たちは「行動効率が人間と AI の決定的な違いであり続ける」と仮説を立てていました。AI が環境を解決できたとしても、人間に比べて探索（アクション）の回数が大幅に多くなるだろうと考えていたのです。これは brute-force 的なアプローチには今も当てはまりますが、最先端の AI はより二値的なパターンを示します。一旦メカニズムを理解すれば、最先端 AI は人間の効率範囲内で実行するのが一般的です。

Astra の行動効率と人間の比較

*各ドットは、Astra (max) が完了した 1 レベルを表します。実線の下の点は、人間ベースラインよりも少ないアクション数で解決したことを示しています。*

上記のグラフは、各レベルを完了するために Astra が使用したアクション数と、人間のベースラインとの比較を示しています。これは、ARC-AGI-3 がタスクの完了だけでなく、アクション効率も測定している理由を裏付けています。完了のみを評価するスコアでは、Astra が環境をクリアできたことは分かりますが、どのように効率的に学習して解決したかまでは分かりません。

多くのベンチマークは「コスト」効率のみを測定します。これは計算資源の使用量を測るものですが、「アクション」効率は、環境に対してどれだけの経験が必要だったかを評価するものです。

Astra の結果からは、人間ベースラインよりも少ない相互作用で解決策を実行できたことが示されています。

エージェント・ハーネスにおけるカスタムツール

また、AstraをPRO-LONG ハーネスでも評価しました。これはARC-AGI-3の初期段階におけるレッドチームングパートナーであり、この高度な環境では、Astraはカスタムコードを実行できるサンドボックスにアクセスできます 3。

Astraは各ゲームごとに独自のツールセットを構築する様子を確認しました。具体的には、盤面解析用パーサー、ゲーム状態モデル、探索アルゴリズム、プランナー、そして永続的なメモ機能などです。より複雑な実行では、Astraは小規模ながら特定のゲームに特化したソフトウェアライブラリさえも生成していました。

例えば、tu93（https://arcprize.org/tasks/tu93）のような、警備員と移動するパトロール隊がいる迷路状のゲームでは、Astra はまずナビゲーションから着手し、maze_solver.py を構築しました。

『combat_solver.py』には戦闘ルールを追加し、『patrol_solver.py』では移動するパトロールをモデル化しました。また、予測と観測値の整合性を確認するために『sync_state.py』を利用しています。

Astra の PRO-LONG におけるパフォーマンスを検証する意義は、外部ツールをどのように活用できるかを確認できる点にあります。ただし、これは我々が実施した統制された人間によるテストとは評価条件が異なります。テスト参加者にはコードインタープリタやスケッチパッドなどのツールが付与されていなかったため、PRO-LONG の結果はモデルとツールの組み合わせとしてのパフォーマンスとして理解する必要があります。

*Astra が PRO-LONG ハーネスで tu93 をプレイしている様子。

2 つのハーネスと 2 つの問い

ARC-AGI-3 に対する我々の標準的なハーネスは、同じく最小限かつプロバイダーに依存しないインターフェース下でのモデル間の比較を問うものです。各ゲームを解決するために必要な情報はすべて提供されますが、可視化されたメモに何を保持するかはモデル自身が決める必要があります。将来の AGI はこうした条件下で ARC-AGI-3 を解決できるべきだと考えています。また、共有インターフェースによって、プロバイダー間での一貫性のある「リンゴとリンゴ」の比較が可能になります。

一方で、別の問いもあります：モデルは、プロバイダーが用意した文脈管理機能を活用した場合、どの程度良好に機能するかという点です。Astra の場合、これは非可視の推論状態（我々には見えない部分）をリクエスト間で保持し、圧縮機能を用いてより長い会話に対応することを意味します。

Provider Adapter ハーネスを使用することで、Astra の ARC-AGI-3 Semi-Private における最高スコアは 62.7% から 99.9% に向上しました。Public と Semi-Private を通じ、すべての推論レベルを総合すると、両方のハーネスが解決した 167 のゲーム・推論ペアにおいて、Provider Adapter の実行時間は平均で約 3.66 倍高速化され、使用トークン数は 49% 削減されました。

今後は ARC-AGI リーダーボードに、Standard ハーネスと Provider Adapter ハーネスの両方の結果を報告します。各評価条件は明確に表示されます。オープンソースのテストリポジトリ と テストポリシー で、これら 2 つのアプローチについて詳細を文書化しています。

ARC-AGI シリーズ

ARC-AGI-3 は引き続き、研究者やエージェントが未知の環境を探求し、ルールを発見し、相互作用を通じて学習するための有用なプラットフォームです。Astra の結果は祝うべき大きなマイルストーンでもあります。私たちが考えるに、Astra は最先端モデルの能力における顕著な飛躍を示しています。

ARC-AGI-3 を立ち上げた際、明確に示した 通り、ベンチマークを完全に攻略することが「AGI の達成」を証明するものではないと考えています。したがって、Astra が一般化に向けた有意義な進歩であると信じている一方で、それが AGI であるとは主張していません。

ARC-AGI ベンチマークシリーズは、最先端 AI の進化と並行して発展するように設計されています。これにより、新たな研究課題と AI 能力の向上との間にフィードバックループが生まれます。ARC-AGI-3 は、AI に具体的な指示を与えずに因果的世界モデルを効率的に構築し、目標達成を実現することを求めた、初のインタラクティブなベンチマークでした。Astra はこのハードルをクリアしました。

一方で、ARC-AGI-3 の範囲と形式は非常に限定されており、その環境には決定論的で閉じたメカニクスと明確なゴールが存在します。これは現実世界の複雑さやオープンエンド性を代表するものではありません。

私たちは、次世代のベンチマークを形作るべき問いについて積極的に探求しています。具体的には、再帰的な自己改善やオープンエンドなイノベーションをどう評価するかといった課題です。Astra の進歩は、どの AI 能力が到達不能なのか、またどの問いが未解決のまま残っているのかを明確にする手助けとなります。

本稿の初期レビューにご協力いただいた François Chollet 氏、Mike Knoop 氏、Matt Mazur 氏、Ethan Bond 氏、Derek Smith 氏に感謝いたします。

• 20 W の脳代謝電力と電気料金が $0.20/kWh と仮定した場合：0.020 kW × 1.5 時間 = 0.030 kWh。セッションあたり約 $0.006、あるいは試行されたゲーム 1 回あたり約 $0.00067（$0.006 ÷ 9）となります。
• ARC-AGI-3 の人間テスト論文を参照してください。

• サンドボックスからの脱出を試みる兆候は確認されませんでした。