Mastra、マルチターン評価機能でエージェントの会話精度を検証可能に

記事の3ポイント

1. 1

   多ターン評価機能の導入

   Mastra は単発の評価ではなく、会話全体の文脈や正確性を LLM をジャッジとして用いて評価する機能を追加し、開発者が一連の対話を包括的に検証できるようになった。

2. 2

   ゲートとスコアラーの統合

   ツール呼び出しなどの確定的アクションを検証する「gates」と、会話の質を点数化する「scorers」を同時に使用可能にし、複雑な評価ロジックを簡素化した。

3. 3

   メモリ設定の要件

   多ターン評価を実行するには、各ラウンドが過去の対話履歴を観察できる有効なメモリ構成が必要であり、これが機能の前提条件となっている。