OpenAI、GPT-6 Astra が ARC-AGI-3 で人間基準を突破

公開日

2026 年 9 月 3 日

まとめ

• GPT-6 Astra は、ARC-AGI-3 のセミプライベート版で標準的なハッチ（Standard harness）を使用し、$26K で 62.7% を達成しました。この標準的なハッチでは、モデルが環境全体を通じて保持したいと判断したメモを引き継ぐことができます。

また、プロバイダーアダプター（Provider Adapter）ハッチを使用した場合、$19K で 99.9% のスコアを記録しました。こちらのハッチは、リクエスト間の非対称な推論状態を保存し、圧縮機能により長文の会話でも以前の作業を再利用可能にします。

• GPT-6 Astra は、ARC-AGI-3 において人間のベースラインを上回る行動効率を示しました。テストされた人間の中央値と比較して、96% のレベルでより少ないアクション数で課題を解決しています。

• GPT-6 Astra が示した重要な振る舞いの一つは、見知らぬ環境をコンパクトな記号的な世界モデルに変換する能力です。ゲームのメカニズムを論理的ルールとして表現し、状態を追跡して行動を計画するための独自のドメイン固有言語の略語を開発しました。

ARC-AGI-3

ARC-AGI-3 は、新規で抽象的なターンベース型の環境を通じてエージェント知能を研究するためのベンチマークです。エージェントは明示的な指示なしに、探索を行い、目標を推論し、効果的に行動を計画するために環境の内部モデルを構築する必要があります。

ARC-AGI-3 をご自身でもプレイできます。

お使いのブラウザでは埋め込み動画がサポートされていません。

これらの環境には、コア知識の事前知識のみが含まれており、人間参加者による統制されたテストを通じて難易度が調整されています。人間は 環境の 100% を解決可能 です。

ARC-AGI シリーズの目的は、現在の人工知能と AGI（汎用人工知能）の間にある「残存ギャップ」を測定することです。ここで定義する AGI とは、人間が持つあらゆるスキルを、人間と同じ効率で習得できるシステムの能力を指します。

ARC-AGI-3 は、ARC-AGI ベンチマークシリーズ の 3 世代目です。これは ARC-AGI-1 や ARC-AGI-2 を超えた、エージェントとしての能力をテストするものです。各世代は前世代の成果を踏襲・拡張しており、最先端 AI の能力が進化するにつれて、ベンチマークもそれに合わせて進化させる必要があります。

ARC-AGI-3 は、エージェント知能の 4 つの側面を検証します。

• 探索: 現実世界の環境では、情報は受動的に与えられることは稀です。エージェントは周囲と相互作用することで、積極的に情報を取得する必要があります。

• モデリング: エージェントは生の観測データを基に、将来の状態や結果を予測できる汎用的なモデルを構築しなければなりません。

• 目標設定: エージェントは、報酬が限られた状況下で、目指すべき未来の状態を特定する必要があります。

• 計画と実行: エージェントは現在の状態から目標までの経路を策定し、新たな情報が得られるたびに軌道修正を行う必要があります。

Astra の結果

GPT-6 Astra は、Standard ハーネスと Provider Adapter ハーネスの両方で ARC-AGI-3 において最高スコアを記録しました。 推論レベルが高いほどコストが低くなる傾向があります。Astra はゲームをより少ないアクションで解決するため、モデル呼び出しの総数やトークン使用量が抑えられるからです。

完全な結果はこちら。

Standard ハーネス（標準ハーネス）では、モデルが環境内を移動する際に保持したいメモを引き継ぐことが可能です。この構成で OpenAI の Astra (max) は、ARC-AGI-3 Semi-Private で 62.7% のスコアを達成し、コストは約 26,000 ドルでした。

一方、Provider Adapter ハーネス（プロバイダーアダプターハーネス）では、非公開の推論状態をリクエスト間で保持し、長い会話には圧縮機能を活用して、モデルが過去の作業を再利用できるようにします。この構成で Astra (high) は 99.9% のスコアを達成し、コストは約 19,000 ドルでした。

どちらも現時点での最高スコアです。詳細なランキングについては リーダーボード をご覧ください。

コスト比較のため、当社の統制されたテストでは、人間参加者に 90 分間のセッションあたり 115 ドル、完了したゲームごとに 5 ドルの報酬を支払いました。参加者は 1 回あたり約 9 ゲームに挑戦しており、ボーナスを加味する前の試行あたりのコストは約 12.78 ドルとなります。

この報酬の大部分は、脳が消費するエネルギー（AI と比較するためのより適切な指標）ではなく、テストを受けるための時間と「意欲」に対する対価です。もし脳のエネルギー消費のみを電気代として換算すると、セッションあたり約 0.6 セント、試行あたりのゲームでは 0.067 セントにまで低下します。

分析

スコアだけでなく、Astra のリプレイからは、見慣れないゲームのメカニズムをどのように有用な作業モデルへと変換しているかが読み取れます。特筆すべき点は 3 つあります。それが、Astra が独自に構築する簡潔な代数記法、人間との比較における行動効率、そして自ら作成したカスタムツールです。

カスタム代数記法

ARC-AGI-3 をプレイする際、Astra はどの戦略メモを引き継ぐかを選択します。オブジェクト、座標、ルール、未完了の計画を追跡しつつ、環境のために生成した独自ドメイン固有言語の記法も活用しています。

他のモデルでも同様の挙動が見られますが、Astra のノートは精度と情報密度において際立っていました。このモデルは、オブジェクトの位置や相互作用、そして何らかの順序で実行すべきアクションを正確に特定する、コンパクトなコード風の記号的モデルへとシーンを要約します。これは完全なプログラミング言語というよりは、その場で使われる代数式の略記法です。

例えば：

• ゲームの状態: L8: hub q2 (8↓). Lengths: 14=1… は、レベル番号、ローカル回転インデックス、メカニズムの長さを記録しています。s5i5, frame 219

・多段階プラン：extend8 to3; retract10 to2; shorten8 to1 は、色 8 と色 10 のメカニズムに対する変更の順序付きシーケンスを記録しています。s5i5, frame 219

・コントロールと座標：9−=(39,4), rotate=(49,18), 14+=(59,11) は、操作を実行するコントロールの座標をマッピングしています。s5i5, frame 235

• 時間と位置: Turn 5: P=(24,20), empty, facing west は、ターンカウンターにプレイヤーの場所、状態、そして向きを組み合わせたものです。wa30, frame 708

*Astra が `s5i5` をプレイし、その場で生成された代数の略記法を使って状態を追跡し行動を計画している様子。

人間の行動効率との比較

ARC-AGI-3 の公開に先立ち、一般大衆から約 500 名を対象にテストを実施し、行動効率の人間基準値を設定しました。ここでいう行動効率は、単に各環境をどれだけ *素早く* 解決できるかを指します。参加者にはパズル解決の経験や能力は問われませんでした。

各レベルについては、それをクリアしたプレイヤーたちの *中央値* となるアクション数を「人間の基準値」と定義しました。これにより、人間と AI のパフォーマンスを比較するための参照指標が得られます。AI がより多くのアクションを必要とする場合は行動効率が低く、逆に少ないアクションで済ませる場合は高いと言えます。

Provider Adapter ハーネスでは、リクエスト間の不透明な推論状態を保持し、より長い会話には圧縮（compaction）を活用することで、モデルが過去の作業を再利用できるようにしています。この仕組みを用いた Astra (max) は、ARC-AGI-3 の全レベルの 96.0% で人間ベースラインよりも少ないアクション数で解決し、平均して 1 レベルあたり 51.7% も少ないアクションで済ませました。これは重要なマイルストーンです。つまり、ARC-AGI-3 が定義する「アクション効率」という指標において、Astra は人間の水準に達し、それを上回ったことになります。

余談になりますが、ARC-AGI-3 を公開する前に、私たちは「アクション効率が人間と AI の決定的な違いであり続けるだろう」と仮説を立てていました。AI が環境を解決できたとしても、人間よりもはるかに多くの探索（アクション）が必要になるのではないか、と考えていたのです。これは brute-force 的なアプローチでは依然として正しいですが、最先端の AI はより二元的なパターンを示します。まず、最先端の AI がメカニズムを理解した瞬間、その実行効率は人間の範囲内に収まるようになります。

Astra のアクション効率と人間の比較

*各ドットは、Astra (max) が完了した 1 レベルを表します。実線より下の点は、人間ベースラインよりも少ないアクション数で解決できたことを示しています。*

上記のグラフは、各レベルを完了するために Astra が使用したアクション数と、人間のベースラインとの比較を示しています。これは、ARC-AGI-3 が単なるタスクの完了ではなく、アクション効率性を測定する理由を裏付けています。

完了のみを評価するスコアでは、Astra が環境をクリアできたことは分かりますが、それを解決するためにどれだけ効率的に学習したかまでは分かりません。

多くのベンチマークは「コスト」効率性、つまり計算資源の使用量だけを測りますが、「アクション」効率性は、その環境に対してどれだけの経験が必要だったかを測定します。

Astra の結果からは、人間ベースラインよりも少ないインタラクション回数で解決策を実行できたことが分かります。

エージェント・ハーネスにおけるカスタムツール

また、Astra を ARC-AGI-3 のレッドチームングパートナーである PRO-LONG ハーネス（論文：paper）でも評価しました。この高度な設定では、Astra はカスタムコードを実行できるサンドボックスにアクセスできました 3。

Astra は各ゲームごとに独自のツールセットを構築する様子を確認しました。具体的には、ボードパーサーやゲーム状態モデル、探索アルゴリズム、プランナー、そして永続的なメモ機能です。より複雑な実行では、Astra は小規模ながらゲーム固有のソフトウェアライブラリさえも生成していました。

例えば、tu93（https://arcprize.org/tasks/tu93）のような、警備員や移動するパトロール隊がいる迷路風のゲームでは、Astra はまずナビゲーションから着手し、maze_solver.py を構築しました。

『combat_solver.py』には戦闘ルールを実装し、『patrol_solver.py』で移動するパトロールをモデル化しました。また、予測結果と観測値の照合には『sync_state.py』を使用しています。

Astra の PRO-LONG におけるパフォーマンスを検証することは、外部ツールをどのように活用できるかを確認する上で有用です。ただし、これは制御された人間によるテストとは異なる評価条件であることを理解しておく必要があります。私たちのテスト参加者はコードインタプリタやスケッチパッドなどのツールを使用しなかったため、PRO-LONG の結果はモデル自体とそのツールの組み合わせとしてのパフォーマンスとして捉えるべきです。

*Astra が PRO-LONG ハーネスで tu93 をプレイしている様子。

2 つのハーネスと 2 つの問い

ARC-AGI-3 の標準的なハーネスは、同じ最小限かつプロバイダーに依存しないインターフェース下でのモデル間の比較を問うものです。各ゲームを解決するために必要な情報はすべて提供されますが、可視化されたメモに何を保持するかはモデル自身に任されています。将来の AGI は、こうした条件下で ARC-AGI-3 を解決できるべきだと私たちは考えています。また、この共有インターフェースにより、プロバイダー間の一貫した「リンゴとリンゴ」の比較が可能になります。

一方で別の問いもあります：モデルがプロバイダーが用意した文脈管理機能を活用した場合、どの程度のパフォーマンスを発揮できるかです。Astra の場合、これは非表示の状態（私たちが直接確認できない推論状態）をリクエスト間で保持し、圧縮機能を使ってより長い会話に対応することを意味します。

Provider Adapter ハーネスを使用することで、Astra の ARC-AGI-3 Semi-Private における最高スコアは 62.7% から 99.9% に向上しました。Public と Semi-Private を通じてすべての推論レベルを総合すると、両方のハーネスが解決した 167 組のゲーム・推論ペアにおいて、Provider Adapter の実行時間は平均で約 3.66 倍高速化され、使用トークン数は 49% 削減されました。

今後は ARC-AGI リーダーボードにおいて、Standard ハーネスと Provider Adapter ハーネスの両方の結果を報告し、各評価条件を明確にラベル付けします。オープンソースのテストリポジトリ と テストポリシー のドキュメントでは、両方のアプローチについて詳細が記されています。

ARC-AGI シリーズ

ARC-AGI-3 は引き続き、研究者やエージェントが未知の環境を探求し、ルールを発見し、相互作用を通じて学習するための有用なプラットフォームです。Astra の結果は、祝うべき大きなマイルストーンでもあります。私たちが考えるに、Astra は最先端モデルの能力における目覚ましい飛躍を示しています。

ARC-AGI-3 を立ち上げた際、明確に示した 通り、ベンチマークを飽和させることが「AGI の達成」の証明になるとは考えていません。したがって、Astra が一般化に向けた有意義な進展であると信じている一方で、それが AGI であるとは主張していません。

ARC-AGI ベンチマークシリーズは、最先端 AI の進化と並行して発展するように設計されています。これにより、新たな研究課題と AI 能力の向上との間にフィードバックループが生まれます。ARC-AGI-3 は、AI が具体的な指示なしに因果的な世界モデルを効率的に構築し、目標を達成できるかを問う、初のインタラクティブなベンチマークでした。Astra はこの課題をクリアしました。

一方で、ARC-AGI-3 の範囲と形式は非常に限定されており、その環境には決定論的で閉じたメカニクスと明確なゴールしか存在しません。これは現実世界の複雑さや開放性を表しているわけではありません。

私たちは、次世代のベンチマークを形作るべき問いについて積極的に探求しています。具体的には、再帰的な自己改善やオープンエンドなイノベーションをどう評価するかといった課題です。Astra の進歩は、どの AI 能力が到達不能なのか、またどの問いが未解決のまま残っているのかを明確にする手助けとなります。

本稿の初期レビューにご協力いただいた François Chollet 氏、Mike Knoop 氏、Matt Mazur 氏、Ethan Bond 氏、Derek Smith 氏に感謝いたします。

• 20 W の脳代謝電力を想定し、電気料金を $0.20/kWh とした場合：0.020 kW × 1.5 時間 = 0.030 kWh。セッションあたりのコストは$0.006 で、試行されたゲーム 1 回あたりでは約$0.00067（$0.006 ÷ 9）となります。
• ARC-AGI-3 の人間テスト論文を参照してください。

サンクボックスからの脱出を試みる兆候は確認されませんでした。