Mastra、マルチターン評価機能でエージェントの会話精度を検証可能に

今や、multi-turn 評価機能を使って会話全体を検証できるようになりました。ゲートはツール呼び出しなどの決定論的なアクションを確認し、スコアラーは LLM-as-judge を活用して対話の文脈が正確かどうかを採点します。

runEvals では gates と scorers の両方を指定できます。

• gates: calledTool、includes、または excludes といったクイックチェックを利用して、結果として 0 または 1 を返すことができます。

• scorers: 会話全体を評価するために、multi-turn ジューサーのようなマルチターン対応の組み込みスコアラーを使用し、対話に対して score と reason を返すことができます。

また、特定の単語が含まれているかをテストするために scorers を使用したクイックチェックも可能です。runEvals を利用すれば、1 回ごとの評価と複数回の評価 を同時に実行できます。 （原文の技術表記: includes）

お使いのブラウザは動画タグをサポートしていません。

マルチターン評価が登場する前は、会話の評価とは各ターンごとに「ゲート」と「スコアラー」を設定し、その結果を結合して全体のやり取りについて推論を行うことを意味していました。一方、マルチターンでは、ジャッジが「基準（criterion）」を用いて会話全体にスコアを付けます。また、ゲートは決定的なアクションを一括で検証するために使用できます。例として、 （原文の技術表記: gates、scorers）

checks.calledTool("get_weather", { times: 3 }).

マルチターン評価を利用するには、各ターンで過去のランニング結果を観測できるよう、エージェントに有効な メモリ 設定が必要です。

はじめに

必要な Mastra コアと評価パッケージをインストールします。

npm install @mastra/core @mastra/evals

注意

@mastra/core@1.61.0 以降が必要です。これは PR #21930 で追加されました。 （原文の技術表記: @mastra/core@1.61.0）

マルチターンアサーションでは、inputs 配列を受け取り、gates は実行全体に適用されます。会話の評価には、判定器スコアラーに criterion を与えてください。

しきい値（threshold）を指定して、その基準を満たすかどうかを確認することも可能です。

import { runEvals } from "@mastra/core/evals";

import { checks } from "@mastra/evals/checks";

import { createMultiTurnJudgeScorer } from "@mastra/evals/scorers/prebuilt";

import { travelAgent } from "../agents/travel-agent";

const result = await runEvals({

target: travelAgent,

data: [

{

inputs: [

"I'm planning a 3-city trip next week — London, Paris, and Tokyo.",

"How's the weather looking in London?",

"And Paris?"

// ...

]

}

],

gates: [checks.calledTool("get_weather", { times: 3 })],

scorers: [

{

scorer: createMultiTurnJudgeScorer({

model: "anthropic/claude-haiku-4-5",

criterion: "The agent provided weather forecasts for London, Paris, and Tokyo, and gave weather-appropriate packing or clothing advice."

}),

threshold: 1

}

],

onItemComplete: ({ scorerResults }) => {

const judge = scorerResults?.["multi-turn-judge-scorer"];

if (judge?.reason) console.log(judge.reason);

}

});

Per-turn assertions can be configured using a turns array where each turn declares its own gates and scorers, and an optional threshold to be met:

const result = await runEvals({
  // ...
  data: [
    {
      turns: [
        { input: "I'm planning a 3-city trip next week — London, Paris, and Tokyo." },
        {
          input: "How's the weather looking in London?",
          gates: [checks.calledTool("get_weather", { times: 1 })],
          scorers: [{ scorer: checks.includes("London"), threshold: 1 }]
        },
        {
          input: "And Paris?",
          gates: [checks.calledTool("get_weather", { times: 1 })],
          scorers: [{ scorer: checks.includes("Paris"), threshold: 1 }]
        }
        // ...
      ]
    }
  ]
});

詳細情報および設定オプションについては、以下のドキュメントをご覧ください。

• マルチターン評価
• マルチターンジャッジスコアラー
• クイックチェック
• runEvals() リファレンス](https://mastra.ai/reference/evals/run-evals)
• ゲートと判定
• 組み込みスコアラー