ADeLe: AIのタスク横断的性能予測と説明

![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/03/NatureADELE-BlogHeroFeature-1400x788-1-1024x576.jpg) 概要 AIベンチマークは特定のタスクでの性能を報告するが、基盤となる能力に関する洞察は限られている。ADeLeは18のコア能力にわたってタスクとモデルの両方をスコアリングすることでモデルを評価し、タスクの要求とモデルの能力を直接比較可能にする。 これらの能力スコアを用いることで、この手法はGPT-4oやLlama-3.1などのモデルを含め、新しいタスクでの性能を約88%の精度で予測する。 能力プロファイルを構築し、モデルが成功または失敗しやすい箇所を特定することで、タスク横断的な強みと限界を明らかにする。 結果をタスクの要求と結びつけることで、ADeLeは性能の差異を説明し、タスクの複雑さが増すにつれて性能がどのように変化するかを示す。 AIベンチマークは大規模言語モデル（LLM）が特定のタスクでどのように性能を発揮するかを報告するが、その性能を支える基盤となる能力についての洞察はほとんど提供しない。ベンチマークは失敗の理由を説明せず、新しいタスクでの結果を確実に予測することもできない。この問題に対処するため、マイクロソフトの研究者らはプリンストン大学およびバレンシア工科大学と共同で、ADeLe（新しいタブで開く）（AI Evaluation with Demand Levels）を提案した。これは、推論やドメイン知識などの幅広い能力セットを用いてモデルとタスクの両方を特徴付け、新しいタスクでの性能を予測し、モデルの特定の強みと弱みに関連付ける手法である。 Natureに掲載された論文「General Scales Unlock AI Evaluation with Explanatory and Predictive Power（新しいタブで開く）」において、研究チームはADeLeがどのように総合的なベンチマークスコアを超えるものであるかを説明している。評価を孤立したテストの集合として扱うのではなく、ADeLeは同一の能力スコアセットを用いてベンチマークとLLMの両方を表現する。これらのスコアは、モデルが未経験のタスクでどのように性能を発揮するかを推定するために使用できる。本研究はマイクロソフトのAccelerating Foundation Models Research（AFMR）助成プログラムによって支援された。 ADeLeベースの評価 ADeLeは、注意、推論、ドメイン知識などの18のコア能力にわたってタスクをスコアリングし、各能力がどの程度要求されるかに基づき、各タスクに0から5の値を割り当てる。例えば、基本的な算術問題は定量的推論（quantitative reasoning）のスコアが低くなるが、オリンピックレベルの証明問題ははるかに高いスコアとなる。 このような多数のタスクでモデルを評価することで、能力プロファイル（ability profile）が生成される。これは、モデルがどこで性能を発揮し、どこで破綻するかを示す構造化されたビューである。このプロファイルを新しいタスクの要求と比較することで、失敗につながる具体的なギャップを特定することが可能になる。このプロセスを図1に示す。 ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/03/adele_methodology.png)図1. 上部: (1) ADeLeベンチマークにおけるモデル性能と、(2) その結果得られる能力プロファイル。各モデルのコア能力にわたる強みと限界を示す。下部: (1) 各タスクへの18のスコアリング基準の適用と、(2) その結果得られるタスクプロファイル。各タスクが要求する能力を示す。 ADeLeの評価 ADeLeを用いて、研究チームは現在の評価手法が何を捉え、何を見逃しているかを理解するため、様々なAIベンチマークとモデルの振る舞いを評価した。その結果、広く使われている多くのベンチマークはモデル能力について不完全で、時に誤解を招く像を提供しており、より構造化されたアプローチがそれらのギャップを明確にし、モデルが新たな環境でどのように振る舞うかを予測する助けとなり得ることが示された。 ADeLeは、多くのベンチマークが測定を意図した能力を単離しておらず、難易度の範囲も限定的であることを明らかにしている。例えば、論理的推論（logical reasoning）を評価するよう設計されたテストが、専門知識やメタ認知（metacognition）にも大きく依存している場合がある。また、狭い難易度範囲に焦点を当て、より単純なケースとより複雑なケースの両方を省略しているベンチマークもある。タスクが要求する能力に基づいてスコアリングすることで、ADeLeはこうした不一致を可視化し、既存のベンチマークを診断し、より優れたベンチマークを設計する方法を提供する。 この枠組みを15のLLMに適用し、研究チームは18の能力それぞれについて0〜5のスコアを用いて能力プロファイルを構築した。各能力について、タスクの難易度に伴う性能の変化を測定し、モデルが50%の成功率を示す難易度レベルをその能力のスコアとした。図2はこれらの結果を放射状プロット（radial plots）として示しており、モデルがどこで優れ、どこで破綻するかを可視化している。 ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2026/03/adele_ability_profiles.png)図2. 18の能力にわたる15のLLMの能力プロファイル。左: OpenAIモデル。中央: Llamaモデル。右: DeepSeek-R1蒸留モデル（distilled models）。 この分析は、モデルによって強みと弱みが異なることを示している。新しいモデルは一般的に古いモデルを上回るが、すべての能力において一貫して優れているわけではない。知識を多く要するタスクでの性能はモデルサイズと学習に強く依存し、推論指向モデル（reasoning-oriented models）は論理、学習、抽象化、社会的推論（social inference）を必要とするタスクで明確な向上を示す。これらのパターンは通常、異なるベンチマークにわたる複数の個別分析を必要とし、タスク要求が注意深く制御されていない場合には矛盾する結論を生み出す可能性さえある。ADeLeはこれらを単一の枠組みの中で明らかにする。 ADeLeは予測も可能にする。モデルの能力プロファイルとタスクの要求とを比較することで、モデルが未経験のタスクであっても成功するかどうかを予測できる。実験では、このアプローチはGPT-4oやLLaMA-3.1-405Bなどのモデルで約88%の精度を達成し、従来手法を上回った。これにより、AIモデルを実際に運用する前に、潜在的な失敗を説明し予測することが可能になり、AIモデル評価の信頼性と予測可能性が向上する。 AIシステムが真に推論できるかどうかは、この分野の中心的な議論である。一部の研究は強力な推論性能を報告する一方、他の研究は規模が大きくなると破綻することを示している。これらの結果はタスクの難易度の違いを反映している。ADeLeは、「推論」を測定するとラベル付けされたベンチマークが、基本的な問題解決から高度な論理、抽象化、ドメイン知識の必要性を組み合わせたタスクまで、必要とするものが異なることを示している。同じモデルが、要求の低いテストでは90%以上のスコアを獲得できる一方、要求の高いテストでは15%以下のスコアしか得られないことがあり、これは能力の変化ではなく、タスク要求の違いを反映している。 OpenAIのo1やGPT-5などの推論指向モデルは、標準モデルに対して測定可能な向上を示す。論理や数学だけでなく、ユーザーの意図の解釈においてもである。しかし、タスクの要求が高まるにつれて性能は低下する。AIシステムは推論できるが、ある程度までであり、ADeLeは各モデルにとってその限界点がどこにあるかを特定する。 ポッドキャストシリーズ ![image](https://www.microsoft.com/en-us/research/wp-content/uploads/2025/06/EP2-AI-TE_Hero_Feature_River_No_Text_1400x788.jpg) AIテストと評価: 科学と産業からの学び マイクロソフトが他の分野からどのように学び、AIガバナンスの柱として評価とテストを進めているかを探る。 今すぐ聴く 新しいタブで開く 今後の展望 ADeLeはAIの進歩とともに進化するよう設計されており、マルチモーダルおよび具現化AIシステム（embodied AI systems）への拡張が可能である。また、AI研究、政策立案、セキュリティ監査のための標準化された枠組みとして機能する可能性もある。 より広く言えば、ADeLeはシステムの振る舞いを説明し性能を予測する、より体系的なAI評価アプローチを推進するものである。この研究は、AI評価への心理測定学（psychometrics）の適用に関するマイクロソフトの研究や、AI評価の重要性を強調するSocietal AIに関する最近の研究など、以前の取り組みに基づいている。 汎用AIシステムが既存の評価手法を追い越し続ける中、ADeLeのようなアプローチは、実世界での使用におけるより厳格で透明性のある評価への道筋を提供する。研究チームは、より広いコミュニティを通じてこの取り組みを拡大するために活動している。追加の実験、ベンチマーク注釈、リソースはGitHub（新しいタブで開く）で利用可能である。 新しいタブで開くこの投稿「ADeLe: Predicting and explaining AI performance across tasks」は、Microsoft Researchで最初に公開されました。

ADeLe: AIのタスク横断的性能予測と説明

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト