OpenAI 研究員ノア・ブラウンは、従来のベンチマークがモデルの真の能力を反映していないと指摘します。現在のモデルは、与えられた計算資源（時間やコスト）に応じて性能が大きく変動するため、固定された評価では比較が不可能です。 彼は、モデルが数週間思考し続けるようなケースでも性能が頭打ちにならない現状を踏まえ、ベンチマーク結果に「計算予算」の軸を追加する必要性を主張しています。また、ルーティング層やアンサンブル手法も、最終的には同じ計算コストで比較すべきであり、単なる評価ゲームへの依存からの脱却を呼びかけています。 この動画は、AI 開発者や研究者に対し、モデルの評価基準と実運用におけるリソース配分の重要性を再考させる重要な提言となっています。
AI モデルの評価基準が根本から書き換えられるべき時期に来ていることを示唆する、極めて重要なインタビューです。開発者は単なるベンチマークスコアではなく、リソース投入量と性能の関係を考慮した設計思考を持つ必要があります。
- 01
テスト時間計算量の欠如
現在のベンチマークはモデルの能力を固定値として扱っているが、現代 AI は投入する予算（時間・トークン）に比例して性能が変化するため評価が歪んでいる。
- 02
ベンチマーク軸の変更提案
性能を計算コストや時間の関数としてプロットするか、明確な予算制限を設けることで、モデル間の公平かつ正確な比較が可能になる。
- 03
頭打ちの先送り現象
現代モデルは従来のようにすぐに性能が飽和せず、数万トークンや数週間思考しても改善が続くため、固定時間での評価は不十分である。
- 04
ルーティング層の再評価
複数モデルを組み合わせるルーティング手法も、最終的には「計算コスト対性能」で単一モデルの長時間思考と比較されるべきであり、別次元の評価ではない。
この議論は、AI ラボ間の競争が「いかに速くモデルをリリースするか」から「いかに正確な評価基準で真の能力を示すか」へとシフトする転換点となります。業界全体が計算コストと性能の関係を可視化する新しいベンチマーク標準を採用することで、過剰な期待や誤った比較による市場混乱を防ぎ、実用的な AI エージェント開発への道筋を明確にします。