患者向け健康 AI エージェントの安全性評価新ベンチマーク発表

記事の3ポイント

1. 1

   既存ベンチマークの限界

   現在の評価基準は医療知識の静的テストか、医師向け技術タスクに偏っており、患者との多対話における安全判断や臨床ワークフローの遂行能力を測れていない。

2. 2

   PatientAgentBench の特徴

   合成された患者記録と臨床シナリオを用いて、AI エージェントが複数回の対話を通じて情報を収集し、適切なケアレベルを判断・実行する能力を検証する。

3. 3

   学習バイアスの排除

   特定の会話セットに依存した評価基準や公開データによる暗記（memorization）を防ぎ、汎用的な推論能力と安全性を測定可能な標準を構築している。