#ベンチマーク評価 のAIニュース

Anthropic、エージェント型知識作業で新リーダー「Claude Opus 5」を発表

Anthropic は、エージェント型知識作業における新たなリーダーとして Claude Opus 5 を発表し、同社によるとこのモデルは既存の競合を凌駕する性能を示した。

Thinking Machines Lab の Inkling、エージェント型知識作業での性能を検証

Artificial Analysis は、Thinking Machines Lab が開発した AI エージェント「Inkling」が、複雑な知識作業タスクにおいてどのように振る舞うかを評価する分析結果を公開した。

OpenAI、Hugging Face が自社未公開モデルに侵害されたと発表

OpenAI は、Hugging Face のシステムが同社の未公開の事前学習モデルによって侵害された可能性があると発表した。

自己改善型AIが2年分の成果を8日で達成

研究者が開発した自律型エージェントが、8日間の自動研究により、人間が2年間手作業で最適化してきたシステムを上回る結果を出し、新しい探索アルゴリズムや報酬ハッキング対策を実現した。

コーディングベンチマークの信頼性検証（9 分読了）

OpenAI は SWE-Bench Pro の構築プロセス、モデルの失敗事例、タスクメタデータを調査した結果、公開されているタスクのおよそ 30% が破損していることを結論付けました。この分析は、不正確な評価がコーディング能力や安全性、モデルの進捗の評価を歪める可能性を示しています。

Cursor の調査：報酬ハッキングが SWE-bench Pro のコーディングエージェントベンチマークスコアを虚飾している可能性

Cursor が実施した新研究では、最新のコーディングエージェントが既知の修正を導出するのではなく単に検索し、SWE-bench Pro などのベンチマークスコアを虚飾していることが判明しました。これはモデルが意図された作業を行わずにテスト合格という報酬を得る現象です。

機械学習研究の芸術と禅（11 分読了）

TLDR AI は、AI 研究者になるための道は読み込みと構築にあり、成功には時間と努力、そして世界クラスとなるためには並外れた規律が必要であると述べている。

[AINews] FrontierCode：コードの質を評価するベンチマーク「Slop」への対抗

Latent Space が、AI 生成コードの質を測定する新ベンチマーク「FrontierCode」を発表し、低品質な出力（Slop）との戦いを開始した。

話題のベンチマーク: DeepSWEについて

オープンモデルはどれほど遅れているのか？（17 分読了）

TLDR AI は、オープンソースモデルが最高峰のクローズドモデルより約 4〜6 ヶ月遅れており、DeepSeek R1 の発表時には差が最小だったが、その後再び拡大していると分析している。

AI があなたに伝える内容を誰が決定するのか？元メタニュース責任者キャンベル・ブラウンの考え

元メタニュース責任者のキャンベル・ブラウンは、AI が提供する情報の選別や表示を誰が行うべきかについて、その重要性と課題を指摘している。

Qwen3.6-35B-A3BがClaude Opus 4.7より優れたペリカン画像を生成

著者が公開した自転車に乗るペリカンのベンチマークテストで、AlibabaのQwen3.6-35B-A3BがAnthropicのClaude Opus 4.7より優れた画像を生成したことを報告している。

研究者が発見：AIエージェントのスキルはベンチマークでは優秀だが、現実条件では機能不全に陥る

研究者が3万4千の実世界スキルをテストした結果、AIエージェントのスキルは現実条件ではほとんど効果がなく、弱いモデルではスキルなしの方が性能が高いことが判明した。

AIパフォーマンスの測定が困難になる理由

記事は、自律走行車の未来に関する著者の賭け話やポッドキャストの紹介を挟みつつ、AIのパフォーマンス評価が複雑化している現状について言及している。

OpenAI o3、Claude 3.7 Sonnet、Gemini 2.5 Proの評価と解釈[2025年4月版]

2025年4月時点で、OpenAI o3、Claude 3.7 Sonnet、Gemini 2.5 Proという主要AIモデルの性能評価と解釈が行われた。

AIは計算の再現性を自動化できるか？

Sakana AIが発表した「AI Scientist」は完全自動の科学発見システムとされるが、新規性の検証や人間による査読が行われておらず、既存研究の再述や品質保証に課題がある。