OpenAI、AI 時代の評価指標を公開
OpenAI は、AI の技術的進歩と社会への影響を体系的に評価・測定するための新しいスコアカードを発表し、業界全体での責任ある開発の基準策定を促した。
キーポイント
包括的な評価フレームワークの提示
OpenAI は単なる技術性能だけでなく、安全性、公平性、透明性など多角的な観点を含むスコアカードを開発し、AI の成熟度を測る指標として提案した。
社会への影響測定に焦点
技術的な能力向上だけでなく、雇用への影響や民主主義へのリスクなど、広範な社会的インパクトを定量的・定性的に評価する枠組みを設けた。
業界全体での標準化の呼びかけ
このスコアカードは OpenAI 単独のものではなく、他社や研究者も利用可能な共通言語として機能し、責任ある AI 開発のベンチマークとなることを目指している。
重要な引用
A scorecard for the AI age
measuring technology and impact in the AI society
影響分析・編集コメントを表示
影響分析
このスコアカードは、AI 開発における評価基準を「いかに速く・強く作るか」から「いかに安全に・社会的に有益に作るか」へと転換させる重要な転換点となる可能性があります。業界全体が共通の言語を持つことで、規制当局や一般社会との対話もより構造化され、責任ある AI 開発の文化定着を加速させるでしょう。
編集コメント
技術の進化速度が加速する中で、その影響を客観的に測る指標を持つことは極めて重要です。OpenAI が自社の開発基準だけでなく業界全体の共通言語として提案している点に、責任ある AI 開発への強いコミットメントを感じます。
CFO から聞こえてくる質問は、どこでも同じです。「AI への投資からいかにして価値を引き出せばいいのか?」
長年、ソフトウェアの成功は導入率で測られてきました。購入したライセンス数やアクティブなユーザー数、更新率などです。しかし、AI の価値を理解するためには、より本質的な指標が必要です。それは「達成された業務量」です。
CFO や経営層が直面する根本的な経済課題は、AI が完了させる業務の価値が、その生産コストよりも速く成長しているかどうかです。
この問いに答えるには、「トークンあたりのコスト」といった単一の指標を眺めるだけでは不十分です。安価なモデルはトークン単価が安くても、優れた結果を得るためには試行回数が増えたり、時間がかかったり、人間のレビューが必要になったりする可能性があります。一方、高性能なモデルはトークン単価が高くても、一度の処理でタスクを完了できるかもしれません。重要なのは、成功した成果を生み出すための総コストと、その成果がもたらす価値を比較することです。
AI 時代における究極の評価基準は、「1 ドルあたりの有用な知能」として捉えることができます。この指標は以下の4 つの重要な問いに答えます。
- AI は、本当に意味のある業務を完了しているのか?
- 各タスクが成功した際のコストはいくらか?
- 人間はその結果を信頼できるか?
- 利用が進むにつれて、AI への投資はより大きな価値を生み出せるか?
1. どれだけの有用な業務が完了しているのか
まずは業務そのものから考えましょう。
AI が解決に貢献した顧客の問い合わせ件数はどれほどか?コード変更を支援してリリースできたのは何回か?契約書のレビューはどの程度進んだか?人々に戻された時間はどれだけあるか?そして、適切な文脈が適切なタイミングで提供されることで、意思決定が改善されたケースは何件あったのか。
トークンに価値が生まれるのは、それが人々が実際に使える形の仕事へと変換されるときです。モデルの能力が高まるにつれ、単なるタスク処理を超えて、より長く複雑な作業も担えるようになります。文脈を維持し、複数のステップにわたる推論を行い、異なるツール間を横断して作業し、その過程で状況に応じて適応していくことなどが可能になります。
まずは一つのワークフローから始めるのが最も効果的です。「完了」の定義を明確にし、その成果が生まれる現場のシステムで測定しましょう。
サポートチームにとって「完了」とは、顧客の問い合わせが解決された状態を指します。エンジニアリングチームであれば、テストに合格したコード変更が行われたこと。法務チームなら、正確かつ期限通りに契約書がレビューされることが「完了」の基準になります。
例えば、財務チームが予測レビューに向けて準備を進めているケースを考えてみましょう。最終的な意思決定に至るまでに多くの作業が発生します。最新の予測データの入手、Excel や Sheets へのデータ移行、変更点の特定、タブ間の整合性確認、スライドの再構築、そしてすべての数値が完璧に合致しているかのチェックなどです。
ChatGPT Work はこうしたプロセスの多くを担うことができます。その結果、チームは重要な問いに集中する時間を得られます。「何が変化したのか?」「なぜなのか?」「次はどうすべきか?」といった本質的な問いに注力できるのです。
これが実践における「1 ドルあたりの有用な知見」です。より多くの作業が迅速に完了し、人々は判断力、創造性、専門知識を適用する時間により多く割くことができるようになります。
2. 成功したタスクの本当のコストはいくらか?
次に重要なのは、その作業を適切に完了させるために実際にどれほどのコストがかかるかという点です。
AI タスクには大きな幅があります。簡単な回答が必要なケースでは計算リソースはほとんど不要ですが、コーディングや調査、あるいは金融ワークフローのように深い推論やツールの活用、多数のアクションを要するタスクも存在します。こうした複雑なタスクほど多くの計算資源を必要としますが、その分生み出される価値も大きくなります。
モデルレベルでは、成功したタスクあたりのコストは、単価、使用された計算リソース量、そして正しい結果に到達する確率によって決まります。企業にとってはさらに、従業員の時間、人間のレビュー、再試行、やり直しといった要素も含まれます。
計算式はシンプルです。
- 作業を完了させるための総コストを加算します。
- 必要な品質基準を満たしたタスクの数を数えます。
- 総コストを成功したタスクの数で割ります。
このため、トークンあたりの単価が最も低いモデルが、必ずしもアウトカム(結果)あたりのコストも最低になるとは限りません。一発で正しい回答を返すことができるフラッグシップモデルであれば、単純なリクエストであっても、再試行や遅延、レビュー、そして総計算量の削減により、最高の価値を提供できる可能性があります。
モデルファミリーを階層化することで、顧客はこの方程式を最適化する選択肢を広げることができます。先週リリースした GPT‑5.6 は 3 つのティアで構成されています。「Sol」がフラッグシップモデル、「Terra」は性能とコストのバランスに優れ、「Luna」は最速かつ最も低価格なモデルです。
これらのモデル階層は、有用な出発点となります。最終的には、タスク全体の経済性を考慮して適切なモデルを選ぶべきです。
例えば、高速で大量の処理が必要なワークフローには Luna を使い、深い分析を要する作業には Terra を、より強力な推論能力が試行回数を減らしつつ最良の結果をもたらすケースには Sol を選択するのが良いでしょう。
GPT-5.6 は、トークン 1 単位あたりでより有用な成果を得られるよう訓練されました。Artificial Analysis のコーディングエージェントインデックスにおいて、最大推論設定の GPT-5.6 Sol が新たな最高記録を樹立しました。これは、主要競合他社モデルと比較して出力トークンを 54% 削減した結果です。
*DeepSWE v1.1**: 長期にわたるエンジニアリングタスクにおいて、GPT-5.6 Sol は 72.7% の達成率を記録し、Claude Fable 5 の 69.9% を上回りました。また、推定 API コストは 36.2% 低下しています。
GPT-5.6 ファミリー全体で目指しているのは同じです。「1 ドルあたりの成功数」の最大化です。効率化が進めば既存タスクの実施コストが下がり、能力向上によってこれまで不可能だった新しい種類の作業も可能になります。
次世代モデルは、この方程式の両側を改善するべきです。顧客はより価値の高い業務を達成できるようになる一方で、各タスク完了にかかるコストは低下し続けるはずです。
3. AI はどの程度正確に仕事をこなすのか?
3 つ目の指標は「信頼性」です。
AI の導入は通常、段階的に深まっていきます。最初は AI が下書き作成を支援します。次に、ツールやデータ間での文脈理解と推論が可能になります。時間が経つにつれ、AI は行動を実行し、例外処理を行い、ワークフローを完結させるようになります。その際、必要な判断や制御については人間が関与する形となります。
一歩進むごとに、システムはより多くの価値を生み出し、同時に求められる負荷も高まります。
信頼性は直接的な経済的価値を持ちます。結果が正確で、出典が明確で、一貫性があり、適切な段階でエスカレーションされれば、人間が確認や修正、やり直しに費やす時間は減ります。タスクの成功コストは下がり、組織は AI をより重要な業務フローに活用する自信を得られます。
チームはこの信頼性を具体化するために、以下の 3 つの結果を追跡できます。
- すぐに使える:提出された結果が品質基準を満たしている。
- 修正が必要:再試行や人間の編集を要している。
- エスカレーションが必要:人間が介入して完了させる必要がある。
これらの指標は、モデルの精度だけでは語れない豊かな物語を語ります。AI がプロジェクト完了に伴う作業量を本当に減らしているかどうかを示すのです。
信頼性には明確な境界線も必要です。AI がドラフト作成から実際の行動に移る前には、組織が以下の点を定義しておくべきです。
- システムがアクセスできるデータは何か。
- 利用または変更可能なシステムは何か。
- 人間のレビューや承認が必要なタイミングはいつか。
安全性、セキュリティ、プライバシー、そしてコントロールこそが、より深い活用を支える基盤となります。人々は、システムがどのように振る舞い、データがどう扱われ、行動がどう管理されるのかを理解する必要があります。
ChatGPT Work は、ChatGPT Enterprise が持つセキュリティ、プライバシー、コンプライアンス、ワークスペース管理の基盤の上に構築されています。これにより、組織は適切な監視を維持しつつ、AI により多くの文脈と、価値の高い業務フローへのアクセス権を与えることが可能になります。
能力があれば最初に採用され、信頼性があれば AI は業務プロセスに組み込まれる。
4. 利用が増えるほど、AI への投資はより多くの成果を生むのか?
最後に問われるのは、スケールした際に経済性が向上するかという点だ。
企業は、同じワークフローを時系列で追跡することでこれを測定できる。品質基準を満たしたタスク数、完了までの総コスト、そして成功したタスクあたりのコストを追跡すればよい。完成した作業量が総コストよりも速く増加し、かつ品質が維持または向上しているなら、AI への投資はより高い価値を生み出していることになる。
計算資源(Compute)はこの方程式の中心にある。
計算資源は研究を推進し、AI が完了させるあらゆるタスクを支える。それは製品の品質、速度、信頼性、可用性、そしてコストを形作る。トレーニング用の計算資源は将来の能力を構築し、推論用の計算資源は今日すぐに役立つ成果をもたらす。両者はともに、顧客にとってより良い結果へと結びつくべきだ。
より優れたモデル、効率的な推論、専用ハードウェア、高い稼働率、賢いルーティング、そして堅牢な製品設計——これらすべてが計算資源の投資対効果を高める。インフラの世代交代は、より高度なモデルを訓練することを可能にする。さらに優れたアルゴリズム、ハードウェア、ソフトウェアが、それらのモデルをより効率的に提供するために機能する。
顧客はこうした改善を、人間にとって分かりやすい形で体験する。より良い回答、高速な結果、修正の減少、信頼性の高い製品、そして必要な作業にかかるコストの低下だ。
この好循環は複利のように広がります。インフラの向上が研究を加速し、その結果、より高性能で効率的なモデルが生まれます。優れたモデルが製品を改善し、それが採用拡大と学習、収益増につながります。こうした成長が、次世代の研究・計算資源・展開・安全性への継続的な投資を支えるのです。
OpenAI は、これらすべての要素を一つの共通の知能プラットフォームで統合しています。一般ユーザーは ChatGPT や ChatGPT Work を通じて利用し、開発者は Codex や API を使って構築します。企業はこの技術を、実際の業務が行われるシステムに展開して活用します。
ある一層が向上すれば、すべての製品と顧客が恩恵を受けることになります。
AI 時代のスコアカード
これら 4 つの指標を総合的に見ることで、「1 ドルあたりの有用な知能」が改善されているかどうかを判断できます。
「有用な仕事」とは、AI が何を生み出せるかを示します。「成功したタスクあたりのコスト」は、その成果に到達するために必要な資源を表します。「信頼性」は、人々がどの程度の割合で AI の成果を安心して活用できるかを意味します。「スケール時の価値」は、時間とともに 1 ドルや計算リソースの単位あたりがより多くの成果を生み出せるかどうかを示す指標です。
目指すべきは、AI が人々のより意味ある業務を支援し、意思決定の質を高め、人間にしかできない判断や創造性が求められる部分に時間を割けるようにすることです。
私たちの役割は、この方程式を世代ごとに改善していくことです。より高性能なモデル、より高速で信頼性の高い結果、そして顧客が必要とする作業のコスト低下——これらを実現し続けることが重要です。
そうしてこそ、AI は時間とともに、より多くの人や組織にとって有用なものになっていくのです。
原文を表示
The question I hear from CFOs everywhere is simple: how do we get more value from our AI spend?
For years, the market measured the success of software through adoption: seats purchased, users active, licenses renewed. Understanding the value of AI demands a more powerful measure: work accomplished.
The basic economic question facing CFOs and other business leaders is whether the value of the work AI completes grows faster than the cost of producing it.
Answering that question requires looking more deeply than a metric such as cost per token. A lower-cost model may have cheaper tokens, but getting great results may require more attempts, more time, or more human review. A more capable model may have more expensive tokens, but complete the same task in one pass. What matters is the full cost of producing a successful outcome, measured against the value that outcome creates.
The ultimate scorecard for the age of AI could be looked at as “Useful Intelligence per Dollar.” This metric answers four key questions:
- Is AI completing work that matters?
- What does each successful task cost?
- Can people depend on the result?
- Does each AI dollar produce more value as usage grows?
1. How much useful work gets done?
Start with the work itself.
How many customer issues did AI help resolve? How many code changes did it help ship? How many contracts did it review? How much time did it give back to people? How many decisions improved because the right context was available at the right moment?
Tokens create value when they transform into work people can use. As models become more capable, they can take on longer and more complex tasks: maintaining context, reasoning through multiple steps, working across tools, and adapting as they go.
The best place to begin is with one workflow. Define what “done” means and measure that outcome in the system where the work happens.
For a support team, “done” might mean a customer issue resolved. For an engineering team, it might mean a code change that passes its tests. For a legal team, it might mean a contract reviewed accurately and on time.
Consider a finance team preparing for a forecast review. Much of the work happens before a final decision is made: finding the latest forecast, moving data into Excel or Sheets, identifying changes, reconciling tabs, rebuilding slides, and checking that everything adds up perfectly.
ChatGPT Work can take on much of that process, giving the team more time to focus on the questions that matter: What changed? Why? What should we do next?
That is useful intelligence per dollar in practice. More work gets completed, faster, while people spend more of their time applying judgment, creativity, and expertise.
2. What does a successful task actually cost?
The next question is what it costs to complete that work well.
AI tasks vary widely. A quick answer may require little compute. A coding, research, or financial workflow may involve deeper reasoning, tool use, and many actions. Those more complex tasks can require more compute, but they can create much more value.
At the model level, cost per successful task depends on price, the amount of compute used, and the likelihood of reaching the right result. For a business, the full cost also includes employee time, human review, retries, and rework.
The calculation is straightforward:
- Add the full cost of completing the work.
- Count the tasks that met the required quality bar.
- Divide the full cost by the number of successful tasks.
This is why the lowest price per token does not always produce the lowest cost per outcome. A frontier model may deliver the best value even for a routine request if it produces the right answer in one pass, reducing retries, latency, review, and total compute.
A tiered model family gives customers more ways to optimize this equation. GPT‑5.6, which we released last week, has three tiers: Sol is our flagship; Terra balances performance and cost; Luna is our fastest and most affordable model.
These tiers provide useful starting points. The economics of the full task should ultimately determine the right model. A customer might use Luna for a fast, high-volume workflow, Terra for work requiring greater depth, or Sol when stronger reasoning delivers the best result with fewer attempts.
We trained GPT‑5.6 to get more useful work from every token. On the Artificial Analysis Coding Agent Index, GPT‑5.6 Sol with max reasoning set a new state of the art while using 54% fewer output tokens than another leading model. The chart below illustrates the comparison.
Across the GPT‑5.6 family, the goal is the same: more successful work per dollar. Greater efficiency makes existing tasks more affordable. Greater capability makes entirely new kinds of work possible.
Each new model generation should improve both sides of that equation. Customers should be able to accomplish more valuable work while, at the same time, the cost of completing each task continues to fall.
3. How often does AI get the work right?
The third measure is dependability.
AI adoption tends to deepen in stages. First, AI helps draft. Then it finds context and reasons across tools and data. Over time, it begins taking action, handling exceptions, and completing workflows, with people providing judgment and control where needed.
Each step creates more value and asks more of the system.
Dependability has direct economic value. When results are accurate, well-sourced, consistent, and escalated appropriately, people spend less time reviewing, correcting, and repeating the work. Successful tasks cost less, and organizations gain the confidence to use AI in more important workflows.
Teams can make this concrete by tracking three outcomes:
- Ready to use: The result met the quality bar as delivered.
- Needs correction: The result required another attempt or human edits.
- Needs escalation: A person needed to step in and finish the work.
These measures tell a richer story than model accuracy alone. They show whether AI is genuinely reducing the work involved in completing the project.
Dependability also requires clear boundaries. Before AI moves from drafting to taking action, organizations should define:
- What data the system can access.
- What systems it can use or change.
- When a person should review or approve an action.
Safety, security, privacy, and control create the foundation for deeper use. People need to understand how the system behaves, how their data is handled, and how its actions are governed.
ChatGPT Work builds on the security, privacy, compliance, and workspace-management foundation of ChatGPT Enterprise. This allows organizations to give AI more context and access to more valuable workflows while maintaining appropriate oversight.
Capability earns first use. Dependability makes AI part of how work gets done.
4. Does each AI dollar buy more work as usage grows?
The final question is whether the economics improve at scale.
Companies can measure this by following the same workflow over time. Track how many tasks met the quality bar, the total cost of completing them, and the cost per successful task. If completed work grows faster than total cost while quality holds or improves, each AI dollar is producing more value.
Compute sits at the center of this equation.
Compute powers research and every task that AI completes. It shapes product quality, speed, dependability, availability, and cost. Training compute builds future capability. Inference compute delivers useful work today. Both should translate into better outcomes for customers.
Better models, more efficient inference, purpose-built hardware, higher utilization, smarter routing, and stronger product design all improve the return on compute. Each generation of infrastructure helps train more capable models. Better algorithms, hardware, and software then help serve those models more efficiently.
Customers experience those improvements in human terms: better answers, faster results, fewer corrections, more dependable products, and a lower cost for the work they need done.
The gains compound. Better infrastructure accelerates research. Research produces more capable and efficient models. Better models improve products. Better products drive adoption, learning, and revenue. That growth supports continued investment in the next generation of research, compute, deployment, and safety.
OpenAI brings these pieces together through one shared intelligence platform. People use it through ChatGPT and ChatGPT Work. Developers build with it through Codex and the API. Enterprises deploy it into the systems where work happens.
When one layer improves, every product and customer can benefit.
A scorecard for the AI age
Taken together, these four measures tell us whether useful intelligence per dollar is improving.
Useful work tells us what AI produces. Cost per successful task tells us what it takes to reach the outcome. Dependability tells us how much of the work people can confidently use. Value at scale tells us whether each dollar, and each unit of compute, accomplish more over time.
The goal is AI that helps people do more meaningful work, make better decisions, and spend more time on the parts of their jobs that require distinctly human judgment and creativity.
Our job is to make that equation better with every generation: more capable models, faster and more dependable results, and lower costs for the work customers need done.
That is how AI becomes more useful to more people and organizations over time.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み