Microsoft、企業向けAIエージェント評価のためのEvals for Agent Interopスターターキットをオープンソース化
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
InfoQ
Microsoftが、現実的な業務シナリオでAIエージェントを評価するためのオープンソーススターターキット「Evals for Agent Interop」を公開した。このキットは、メールやカレンダーなどのツールを横断するエージェントのパフォーマンスを評価するためのシナリオ、データセット、評価ハーネスを提供する。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Microsoft は、開発者や組織が、現実的なデジタル作業シナリオにおいて AI エージェントがどの程度相互運用できるかを評価するのを支援するために設計されたオープンソースのスターターキット「Evals for Agent Interop」[https://github.com/microsoft/EvalsforAgentsInterop] を発表しました。このキットは、メール、カレンダー、ドキュメント、コラボレーションツールなどのさまざまなプラットフォームでエージェントに対して実行可能な、厳選されたシナリオ、代表的なデータセット、および評価ハーン（評価基盤）を提供します。この取り組みは、エンタープライズワークフローへの移行に伴い、アジェンティック AI システムに対する体系的かつ再現性のある評価へと業界がシフトしていることを反映したものです。
大規模言語モデル (LLM) を駆動源とする自律型エージェントを構築する企業は、従来のテスト手法では対応しきれない新たな課題に直面しています。エージェントは確率的な振る舞いを示し、アプリケーションと深く統合され、ツール間で調整を行うため、単一の精度指標だけでは現実世界の性能を理解するには不十分です。エージェント評価 AI エージェントの評価フレームワーク・戦略・ベストプラクティス は、特にビジネスプロセス、コンプライアンス、安全性に影響を与える可能性のあるエンタープライズ環境において、AI 開発における重要な分野として台頭しています。現代の評価フレームワークは、単に最終結果を測定するだけでなく、行動パターン、文脈認識能力、そして多段階タスクに対する回復力も測定することを目指しています。
「エージェント相互運用性評価用スターターキット」は、チームに対して反復可能で透明性の高い評価基準を提供することを目的としています。このキットには、テンプレート化された宣言型の評価仕様（JSON ファイル形式）と、スキーマ準拠やツール呼び出しの正しさといったシグナルを測定するハーン（評価基盤）、ならびに一貫性や有用性などの品質に対する調整済みの AI 判定者による評価が含まれています。当初はメールおよびカレンダーとのやり取りに関連するシナリオに焦点を当てていますが、将来的にはより高度なスコアリング機能、追加の判定者オプション、そしてより広範なエージェントワークフローへのサポートを追加して拡張される予定です。
Microsoft はまた、スターターキット内にリーダーボードの概念も組み込んでおり、異なるスタックやモデルバリアントを使用して構築された「ストローマン（仮説的）エージェント」間での比較分析を提供します。これにより、組織は相対的なパフォーマンスを可視化し、失敗モードを早期に特定し、大規模展開前に候補となるエージェントについてより情報に基づいた意思決定を行うことができます。
GitHub リポジトリ（https://github.com/microsoft/EvalsforAgentsInterop）には、オープンソースライセンスの下でスターターコードがホストされています。ここでは、テストを実行し、複数のエージェント候補を直接比較するために必要な評価アーティファクトとハーン（harness：評価基盤）コンポーネントが提供されます。このプロジェクトはベースライン評価スイートの骨格を提供しており、開発者は独自のドメインに合わせてルブリック（評価基準）を調整し、テストを再実行して、異なる制約下でエージェントの動作がどのように変化するかを観察できます。
始めるには、開発者は「Agent Interop 用評価」リポジトリをクローンし、含まれる評価シナリオを実行して自社のエージェントのベースラインを取得した上で、ワークフローを反映させるためにルブリックとテストをカスタマイズします。このキットは Docker Compose で構成された 3 つのイメージとしてデプロイされており、開発者がローカル環境で容易に実行できるようになっています。
著者について
エディン・カピッチ
エディン・カピッチ氏は、スペイン・バルセロナを拠点とする Vista にてリードソフトウェアエンジニアとして勤務しています。
エディンは 2005 年に .NET と SharePoint の開発に携わり始め、現在も引き続きそれらに触れています。彼は 2022 年まで SharePoint MVP（Microsoft Most Valuable Professional）でした。同じく SharePoint に情熱を注ぐ他の二人と共に、SharePoint ユーザーグループ・カタルーニャ（SUG.CAT）を設立し、現在は会長を務めています。スペイン国内外の多数の出版物やイベントで、技術について執筆し、講演を行っています。
技術的な業務の合間の空き時間には、フライトシミュレーションやセーリング、読書、ハイキングを楽しむそうです。
もっと見る 表示を隠す
原文を表示
Microsoft has introduced Evals for Agent Interop, an open-source starter kit designed to help developers and organizations evaluate how well AI agents interoperate across realistic digital work scenarios. The kit provides curated scenarios, representative datasets, and an evaluation harness that teams can run against agents across surfaces like email, calendar, documents, and collaboration tools. This effort reflects an industry shift toward systematic, reproducible evaluation of agentic AI systems as they move into enterprise workflows.
Enterprises building autonomous agents powered by large language models face new challenges that traditional test approaches were not designed to address. Agents behave probabilistically, integrate deeply with applications, and coordinate across tools, making isolated accuracy metrics insufficient for understanding real-world performance. Agent evaluation has emerged as a critical discipline in AI development, particularly in enterprise settings where agents can affect business processes, compliance, and safety. Modern evaluation frameworks strive to measure not just end results, but behavioral patterns, context awareness, and multi-step task resilience.
The Evals for Agent Interop starter kit aims to give teams a repeatable, transparent evaluation baseline. It ships with templated, declarative evaluation specs (in form of JSON files) and a harness that measures signals such as schema adherence and tool call correctness alongside calibrated AI judge assessments for qualities like coherence and helpfulness. Initially focused on scenarios involving email and calendar interactions, the kit is intended to be expanded with richer scoring capabilities, additional judge options, and support for broader agent workflows.
Microsoft also includes a leaderboard concept in the starter kit to provide comparative insights across "strawman" agents built using different stacks and model variants. This helps organizations visualize relative performance, identify failure modes early, and make more informed decisions about candidate agents before broad rollout.
The GitHub repository hosts the starter code under an open-source license. It presents the evaluation artifacts and harness components needed to run tests and compare multiple agent candidates head-to-head. The project scaffolds a baseline evaluation suite, and developers can tailor rubrics to their specific domains, re-run tests, and observe how agent behavior shifts under different constraints.
To get started, developers can clone the Evals for Agent Interop repository, run the included evaluation scenarios to baseline their agents, and then customize rubrics and tests to reflect their workflows. The kit is deployed as a Docker compose set of three images, making it easy for developers to execute it locally.
About the Author
Edin Kapić
Edin Kapic is a Lead Software Engineer working in Vista, based in Barcelona (Spain).
Edin started messing with .NET and SharePoint in 2005 and still tinkers with it. He was SharePoint MVP untin 2022. Together with two other like-minded SharePoint addicts he founded and currently acts as a president of the SharePoint User Group Catalonia (SUG.CAT). He writes and speaks about technology in numerous publications and events, in Spain and abroad.
When he has some free time, between technical stuff, he enjoys flight simulation, sailing, reading and hiking.
Show moreShow less
関連記事
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み