Humanity’s Last Exam is a Distraction｜人類最後の試験は気晴らしである

![image](https://www.kdnuggets.com/wp-content/uploads/kdn-humanitys-last-exam-is-a-distraction.png)** ## # イントロダクション ヒューマニティーズ・ラスト・エグザム（HLE）は、現代のほとんどの AI システムの推論能力と深い知識能力を測定するために設計されたベンチマークです。その決定的な特徴は、その基盤となる評価が極限まで行われる点にあります。数十年も前に誕生したチューリングテストの、今日の進化形だと考えてください。 この記事では、このベンチマークについて優しく掘り下げ、なぜそれが作られたのかを概説し、分野の専門家グループからの多様な意見を整理し、最も広く受け入れられている結論の要約で締めくくります。 ## # なぜ構築されたのか、そして何から成っているのか？ ** 従来の AI システムで使用されていたテスト手法は、これらのシステムが進化してほとんど努力なく完璧なスコアを出すようになったことで陳腐化しました。このため、[Center for AI Safety](https://agi.safe.ai/) は、世界の専門家たちの支援を得て、[Scale AI](https://scale.com/) と共同で HLE という新たなベンチマークを作成しました。このベンチマークは、2026 年 1 月に、これまでで最も権威ある科学誌である [Nature](https://www.nature.com/) に掲載されました。以前の評価フレームワークが繰り返したパターンを避けるように慎重に設計されています。 ** では、HLEとは何なのでしょうか？それは、言語モデルのような最先端のAIシステムが受ける試験であり、物理学、数学、生物学、人文科学など100以上の学問分野にわたる2,500問を超える専門レベルの問題で構成されています。重要なのは、これらの問題は暗記によって答えられるものではなく、単純な情報検索や択一問題への回答にも限定されていないことです。むしろ、複雑な演繹的推論と深い理解を要求するものです。 そのような質問の2つの例をご紹介します： ![image](https://www.kdnuggets.com/wp-content/uploads/Captura-de-pantalla-2026-06-30-a-las-15.25.04.png)** 2つのHLE問題の例。画像出典：[Center for AI Safety](https://arxiv.org/pdf/2501.14249)** さて、今日最も先進的なモデルがこれまでに示した結果について話しましょう。GPT、Gemini、Claudeのような最も洗練されたフロンティア・モデルでさえ、全体の正答率の閾値である45〜50%をわずかに上回る程度です。この数字は、いかに極めて困難な試験であるかを如実に物語っています。さらに、それらは誤った回答に対して過信に満ちた態度を示す結果として、しばしば失敗します。 ## # 専門家の間でのHLEに対する支配的な見解は何ですか？ ** 正直な答えは、これについて合意がほとんどないということです。意見は技術界、開発者コミュニティ、学術界全体にわたって分かれていますが、HLEにある程度の実用的価値があることを認める方向へ、微妙かつ支配的な傾斜が見られます。ただし、重要なニュアンスが存在します。 一般的に、HLE に精通している専門家や一般大衆は、これを無意味な取り組みと完全に考えてはいませんが、その名付け方が誇張されており、どうやらマーケティング志向のように見える点を指摘しています。 大規模に見ると、HLE に関する主要な意見グループは三つあります: ## // 1. HLE は本当に有用で必要不可欠である 約 60% の意見がこの集合的な見解に傾いており、それによれば、現在 HLE が最重要視されるのには技術的な理由があります。つまり、最近まで使われていた言語モデルベンチマークである大規模多機能言語理解（Massive Multitask Language Understanding: MMLU）を含む、AI システム向けの既存のベンチマークやテストフレームワークは飽和状態に陥るか、陳腐化してしまいました。その結果、現代の AI はこれらでほぼ 90% を超えるスコアを記録するため、最新のモデル同士を真に比較し、どちらが最良かを判断することが不可能になっていました。多くの専門家から HLE が称賛される顕著な理由の一つは、それが AI が複雑な問題や対処できない質問に対して幻覚（hallucination）を起こすのではなく、「知らない」と言う意志があるかどうかを測定する点にあります。 ## // 2. HLE は真の AI からの逸れである この懐疑的な見解は、意見の約 30% で採用されています。これらの専門家は、このテストが日常生活における AI のパフォーマンスや成功を真に評価するものではなく、過度に学術的で難解な知識に基づいているだけだと考えています。あるエンジニアたちは皮肉にも、「AI が HLE で大規模に 90% を超えるスコアを獲得し始めたら、企業はすぐに HLE 2 を作成するために殺到し、その後も同様にしていくだろう」とさえ言い放ち、大企業に有利なマーケティングのハムスターホイールを強化することになると指摘しています。 ## // 3. HLE は欠陥がある これは三つの主要な見解の中で三番目かつ最も小さなもので、データサイエンスフォーラムなどで議論されています。彼らは、HLE が正解とラベル付けされた一部の回答に誤りがあると主張しており、特に化学や高度な数学などのニッチな分野からの質問においてその傾向が顕著です。詩的に言えば、そのようなベンチマークの誤りを最初に検出したのは、最も強力な AI システム自体でした。 ## # まとめ 要約すると、HLE の有用性が否定されることはなく、その命名は広範にマーケティング上のドラマと見なされているものの、多くの専門家によってその重要性が強調されています。このベンチマークを活用しても、スーパー AI の誕生や人工一般知能（AGI）の真の出現を決定づける可能性は低いと考えられます。AGI は長年にわたり議論されてきた概念ですが、依然として現実よりもフィクションに近い側面が強いです。それでもなお、このベンチマークは、記憶力と論理的能力において最良のモデルや企業を特定するための非常に野心的なツールとして捉えられています。 [Iván Palomares Carrascosa](https://www.linkedin.com/in/ivanpc/) は、AI、機械学習、ディープラーニング、および大規模言語モデル（LLM）におけるリーダー、作家、スピーカー、そしてアドバイザーです。彼は、現実世界で AI を活用する方法を他者に指導・訓練しています。

人類最後の試験は気晴らしである

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト