Artificial Analysis、知能指数インデックス v4.2 を発表し評価基準を強化

次期リリース「v5」の要素を先行して加速し、最前線の動向に追いつくための中間アップデートを実施しました。Index v4.2 では、より複雑で現実的なタスクと、ゲーム対策のための非公開テストセットを追加しています。

Intelligence Index v4.2 の変更点：

+ AA-Briefcase: 非公開テストセットを備えた、エージェントによる知識作業の評価

+ Surge's GDP.pdf: 4,592 ページにわたる PDF ドキュメント全体を対象とした長文コンテキスト推論

- GPQA Diamond: すでに飽和状態となった、極めて高度な科学的推論評価

…さらに、ゲーム対策のために非公開テストセットの重み付けを強化し、堅牢性を高めるための採点インフラもアップグレードしました。

今回のアップデートにより、Index はより挑戦的で複雑、そして現実的なタスクと、不正行為を防ぐための非公開テストセットを通じて、実世界でのユースケースに近づきました。私たちは数ヶ月前から Index v5 の要素を計画・構築してきましたが、Index v4 を 1 月にリリースしてからすでに 8 ヶ月が経過しています。

直近の主要モデルの発表に伴い Index が安定した状態を保てるよう、意図的にアップデートを控えていました。しかし、ここ数週間で最前線の技術が急速に進化しているため、ユーザーにとって Index がこれまで通り関連性が高く有用であり続けるために、即座に中間アップデートを実施することが重要だと判断しました。

今回の中間アップデートに加え、チームは Index v5 の開発に全力で取り組んでいます。近々、さらに段階的なリリースを予定しています。続報をお楽しみに！

Intelligence Index v4.2 の詳細変更点：

Artificial Analysis Intelligence Index v4.2 の新機能

➤ AA-Briefcase の追加: 自社開発の評価セット「AA-Briefcase」は、業界の専門家が構築した複雑なプロジェクトにおける、現実的なエージェント型知識作業タスクをモデルにテストします。評価対象となるのは数週間にわたる知識作業プロジェクトで、それぞれ多数の関連タスクと数千ファイルの入力ソースが含まれます。AA-Briefcase はルールの適用とペア比較による採点を組み合わせ、検証可能なタスクの成功、分析の質、プレゼンの質を総合的に評価します。これにより、知識分野におけるエージェント全体の能力を多角的に把握できます。

➤ GDP.pdf の追加: Surge AI が作成した「GDP.pdf」は、100 件の PDF ドキュメントと 10 のドメインにわたる単発の専門文書推論を評価します。モデルはテキスト、表、チャート、脚注、除外事項などを含む 4,592 ページに分散した証拠を統合する必要があります。回答は 1,275 件の専門家作成の原子基準に対して採点され、「All-pass Rate（全項目合格率）」という指標では、すべての基準を満たした場合のみそのタスクが成功とみなされます。

➤ 実世界での利用状況の測定と評価の悪用防止のための加重調整: Index の加重配分において、40% を非公開の保持データセットに割り当てるようになりました。これは v4.1 の倍増です。保持データには AA-Briefcase、AA-Omniscience、CritPt 用のソリューションが含まれます。これにより、各ラボが評価を操作する可能性を大幅に低減します。Index v5 ではさらに保持データの割合を引き上げる予定です。

➤ 採点インフラの強化

AA-LCR v1.1 では、採点用のプロンプトを追加し、回答キーの誤りや曖昧さを修正することで、スコアリングの精度を向上させました。GDPval-AA v2 と AA-Briefcase については、サンプリング手法を見直し、Elo スケールを再設定したため、新モデルが追加されても評価が安定しています。SciCode では採点用サンドボックスの堅牢性を高め、実行に時間がかかっても正解であれば失敗として扱わないようにしました。

主な結果：

➤ 人工知能分析インデックスを Anthropic と OpenAI がリード

Anthropic の Claude Fable 5.1 がインデックス首位に立ち、OpenAI の GPT-6 Astra がそれに続きます。GPT-6 Astra は GPT-5.6 Sol を 4 ポイント上回っています。3 位は Meta で、その後に SpaceXAI、Moonshot/Kimi、Z.AI、Google と続きます。

➤ タスクあたりのコストにおけるパレートフロンティアを 4 ラボが共有

Anthropic、OpenAI、Meta、そして Z.AI が、更新されたタスクあたりのコストのパレートフロンティアを占めています。

➤ GPT-6 Astra が出力トークン効率で圧倒的

GPT-6 Astra は、知能のフロンティアに近いほぼすべてのモデルよりもトークン効率が優れています。この曲線の両端には Claude Fable 5.1、Grok 4.5、Gemini 3.5 Flash-Lite が位置しています（インデックス評価が 25 未満のモデルは除外）。

GPT-6 Astra は、知能のフロンティアに近いほぼすべてのモデルよりもトークン効率が優れています。この曲線の両端には Claude Fable 5.1、Grok 4.5、Gemini 3.5 Flash-Lite が位置しています（インデックス評価が 25 未満のモデルは除外）

Anthropic の Claude Fable 5.1 と Opus 5 が「AA-Briefcase」で首位に立ち、GPT-6 Astra や Muse Spark 1.3 に続く結果となりました。特に GPT-6 Astra は、GPT-5.6 Sol を約 85 Elo ポイント上回る大幅な進歩を示しています。

AA-Briefcase は、業界の専門家が構築した複雑なプロジェクトにおける現実的なエージェントによる知識作業タスクを評価するための、私的に保持されたテストセットを用いた独自評価です。モデルは数週間にわたる知識作業プロジェクトで評価され、それぞれ多数の関連するタスクと数千に及ぶ入力ソースファイルを含みます。AA-Briefcase は、ルーブリック（評価基準）とペア比較による採点を組み合わせ、検証可能なタスクの成功、分析の質、プレゼンテーションの質を評価します。これにより、知識作業における全体的なエージェント能力の全体像を把握することができます。

GDP.pdf では、OpenAI が GPT-6 Astra（33.2%）と GPT-5.6 Sol（28.2%）で首位を独占し、Claude Fable 5.1（26.2%）が続きます。

Surge AI によって作成された GDP.pdf は、10 のドメインにわたる 100 件の PDF を対象とした、単発の専門的な文書推論能力を評価します。モデルはテキスト、表、チャート、脚注、除外事項などを含む 4,592 ページに分散した証拠を統合する必要があります。回答は、1,275 の専門家によって作成された原子レベルの評価基準に対して採点されます。「オールパス率」という指標は、すべての基準が満たされた場合にのみタスク成功としてカウントされます。

各モデルの詳細な内訳は以下の通りです。

Artificial Analysis Intelligence Index v4.2 に関する詳細は、https://artificialanalysis.ai/methodology/intelligence-benchmarking をご覧ください。