エンタープライズ IT アジェンシータスクの初ベンチマーク「ITBench-AA」で最先端モデルも正答率50%未満

[記事一覧に戻る](https://huggingface.co/blog) - 主な発見: - ITBench-AA の SRE（サイト信頼性エンジニアリング）概要: - ITBench-AA は、IBM とのパートナーシップに基づき、同社の ITBench ベンチマークを元に構築されたことを強調。 Artificial Analysis と IBM Software Innovation Lab は、エージェント型エンタープライズ IT タスクにおけるモデル評価のための新シリーズベンチマーク「ITBench-AA」を発表しました。このシリーズの第一弾はサイト信頼性エンジニアリング（SRE）タスクに焦点を当てており、最先端モデルのスコアは 50% を下回っています。 ITBench-AA の SRE タスクでは、Kubernetes インシデント対応におけるモデル性能が評価されます。ここでは、モデルやエージェントが生きているシステムを診断するためにログを読み込み、依存関係をトレースし、複雑なインフラストラクチャ全体で根本原因となるエンティティを特定する必要があります。この基盤となる ITBench データセットは、エンタープライズ IT 運用における深い専門知識を活用して IBM が開発しました。 Artificial Analysis は過去 6 ヶ月間にわたり IBM と緊密に協力し、最先端 AI の評価に向けたデータセットの実装を開発してきました。まずはサイト信頼性エンジニアリング（SRE）から始まり、将来的には財務運用（FinOps）やチーフインフォメーションセキュリティオフィサー（CISO）タスクへと拡大していく予定です。 ## 主な発見: - Claude Opus 4.7 (Adaptive Reasoning, Max Effort) が 47% で首位に立ち、次いで GPT-5.5 (xhigh) が 46%、Qwen3.7 Max が 42% です。 - すべての最先端モデルが 50% を下回っており、ITBench-AA の SRE タスクは当社のベンチマークシリーズの中で最も飽和していないエージェント型ベンチマークの一つとなっています。参考までに、最先端モデルは Terminal-Bench でははるかに高いスコアを記録しています。 - トーン数はほぼ 3 倍変動し、より長い軌道が必ずしも高い精度につながるわけではありません。GPT-5.5 (xhigh) はタスクあたり平均 31 トーンで 46% の精度を達成していますが、Gemini 3.1 Pro Preview は平均 83 トーンで 30% です。過剰に調査を試みるモデルは、誤ってアップストリームの故障注入メカニズムや併発する症状を陽性反応として検出する傾向があります。 - GLM-5.1 (Reasoning) がオープンウェイトモデルの中で 40% の精度で首位に立ち、Gemini 3.5 Flash (high) と実質的に同率です。DeepSeek V4 Pro (Reasoning, Max Effort) は 38% で続き、Gemma 4 31B (Reasoning) が 37% で Gemini 3.1 Pro Preview の 30% を上回っています。 ## ITBench-AA SRE 概要: - 合計 59 の SRE タスク: 40 の公開タスクと、新たに作成された 19 の保持済みタスク - 各タスクには、アラート、イベント、トレース、メトリクス、ログ、およびアプリケーショントポロジーを含む Kubernetes インシデントのスナップショットが提供されます。モデルは、インシデントの原因となる独立した最小限の Kubernetes エンティティを特定する必要があります。 - 故障は、リソースクォータの枯渇、ロールアウト失敗、コネクションプール枯渇、ネットワーク分断など、典型的な SRE の障害モード（インフラストラクチャ、サービス、アプリケーション、およびカオス注入によるインシデント）に及びます。 ## 手法の詳細: - エージェント型ハネス: 各タスクは、関連するログとスナップショットを含むサンドボックス化されたファイルシステムへのシェルアクセスを備えた、オープンソースの Stirrup リファレンスハネスで実行されるモデルによって解決されます。1 タスクあたり最大 100 トーン、各タスク 3 回反復します。 - モデルとエージェントは、インシデントの原因であると考える根本原因エンティティ（Kubernetes Deployments, Services, Pods など）のリストを提出します。各提出内容は、IBM が提供する根本原因の正解セットと比較されます。 - スコアリングは、完全再現率における平均精度を使用します：モデルが根本原因のいずれかを欠落させた場合、その反復に対するスコアは 0.0 となります。すべての根本原因を特定した場合、提出されたエンティティのうち実際の根本原因である割合（真陽性 / (真陽性 + 偽陽性)）に等しい精度がスコアとして付与されます。主要なスコアは、59 のタスク × 3 回の反復の平均値です。 - ハーネス（Stirrup）は評価対象となるすべてのモデルで一定に保たれており、モデル間の公平な比較を可能にしています。 ## ハイライト - タスクでは、エージェントが Kubernetes のインシデントスナップショットをシェルスクリプトコマンドで調査し、責任ある根本原因エンティティを特定する構造化された JSON 診断書を提出する必要があります。 - ある公開された SRE（Site Reliability Engineering）タスクでは、エージェントはフロントエンド経路におけるユーザーFacing の障害を確認します。エージェントはシェルスクリプトコマンドを使用してオフラインスナップショットを検査し、アラートレビューからインシデントの時間窓を特定し、その後トレースやログによって障害がフロントエンドトラフィックに起因することを絞り込みます。トポロジー分析により影響を受けるサービスが特定され、Kubernetes マニフェストからはフロントエンドをブロックするネットワークポリシーが発見されます。この成功した診断では、責任ある根本原因エンティティとして「otel-demo/NetworkPolicy/frontend-block-all-ports」が特定されました。 - より多くのターンが必ずしもより良い回答を意味するわけではありません。真の根本原因を超えて追加の寄与エンティティを提出したモデルはペナルティを受けます：正しい根本原因を特定しても、上流メカニズム（例：chaos-mesh コントローラー）や併発症状を追加することは、リコールゲート付き精度の下で偽陽性としてカウントされます。これが、長い軌道を持つ一部のモデルがより簡潔なモデルよりも性能が劣る理由です：Gemini 3.1 Pro Preview は平均 83 ターンでスコア 30% ですが、Gemma 4 31B (Reasoning) は平均 58 ターンでスコア 37% です。 - オープンウェイトモデルは、ITBench-AA SRE のコストフロンティアに位置しています。Gemma 4 31B (Reasoning) はタスクあたり 0.14 ドルでスコア 37% を達成し、スコアとコストの両面で Gemini 3.1 Pro Preview（タスクあたり 2.23 ドル、30%）を上回ります。GLM-5.1 (Reasoning) はタスクあたり 1.23 ドルでスコア 40% を達成し、Gemini 3.5 Flash (high) のスコア（1.70 ドル）と同等ながら、より低いコストで達成しています。Claude Opus 4.7 (Adaptive Reasoning, Max Effort) はリーダーボードをリードする 47% ですが、タスクあたり 5.38 ドルと最も高価です。 ## ITBench-AA は IBM とのパートナーシップに基づき、ITBench ベンチマークを元に構築されています。 - 詳細については：arXiv の ITBench ペーパーをご覧ください：https://arxiv.org/abs/2502.05352 - GitHub: https://github.com/itbench-hub/ITBench - ITBench-AA リーダーボード：https://artificialanalysis.ai/evaluations/itbench-aa - ITBench-AA HuggingFace リポジトリ：https://huggingface.co/datasets/ArtificialAnalysis/ITBench-AA/tree/main/sre

エンタープライズ IT アジェンシータスクの初ベンチマーク「ITBench-AA」で最先端モデルも正答率50%未満

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト