臨床 AI エージェント、正解でも根拠が不適切なケースを評価

私たちは、16 のエージェント型システムを 25 の臨床ケアシナリオにおいて、750 件の実際の患者ケースで評価しました。その結果、すべてのシステムが証拠の許容範囲を超えて回答にコミットする傾向があり、正解とされた判断のうち最大 20% は、症例作成者が明確に禁止した調査に基づいて行われていました。

基盤モデルは医療知識試験において専門家と同点かそれ以上のスコアを出すことができます。しかし、実用化される臨床エージェントが求められるのは、単純なプロンプトへの回答よりもはるかに困難で異なるタスクです。長期記録の検索、構造化データと自由記述メモの統合、適切な臨床基準や規制の適用、利用可能な証拠が十分かどうかの判断、そして他のレビュアーが監査可能な結論の生成などが必要となります。

医療機関にとって、このギャップこそが本質的な課題です。医学試験で満点を取るモデルを、患者のカルテにそのまま適用できるわけではありません。価値を生むのは主に二つの要素にかかっています。一つは、エージェントがどのタスクを確実に実行できるかという点、もう一つは、ガバナンスされたデータアクセス、組織固有のプロトコルの強制、証拠要件の明確化、そして医師への委譲が必要なタイミングを見極めながら、いかに慎重にエージェントをワークフローに組み込むかです。これは導入の問題よりも先に、評価の問題として捉えるべきです。自社のワークフローに対してモデルを検証し、任せることができる業務を特定した上で、それを活用して医師を代替するのではなく、支援する存在として位置づけることが重要です。

CliniCARE-Bench（Clinical Calibrated Audit of Medical Reasoning in EHR）は、そのような医療推論の検証に向けたベンチマークです。このベンチマークには医師が作成した 25 のシナリオが含まれており、それぞれを MIMIC-IV の実データから患者固有のケースに展開して 30 件ずつ生成しています。合計で 750 のケースを用意しました。

エージェントは、管理された完全なログ記録環境内で各ケースを検査し、4 つの判断結果のいずれかを返します。それは「Yes（はい）」「No（いいえ）」「Indeterminate: Lack of Data（データ不足のため不確定）」、あるいは「Indeterminate: Medically Ambiguous（医学的に曖昧であるため不確定）」です。

結果： 16 のエージェントシステム全体で、4 つの選択肢への正答率は最高でも 76.1% に達しました。しかし、単純な正答率だけで評価すると、モデルに過剰な評価を与えてしまいます。専門家の臨床評議会が定めた禁止された近道（ショートカット）を一つも犯さず、かつ判断が正しい場合にのみ正解とみなす厳格な評価基準を適用すると、スコアは 4.8 ポイントから 14.8 ポイント低下します。これによりリーダーボードの順位も大きく入れ替わります。単に「正解」を出しただけでは、それが正当な調査プロセスを経て導き出された証拠にはなりません。

*Figure 1. Clinician-authored scenarios become patient-specific MIMIC-IV cases, adjudicated into calibrated reference verdicts. Per case, a system answers a clinical query inside a governed environment for retrieval, computation, and policy access, and produces a cited four-way verdict plus a replayable trace.*

自信満々な回答の裏には、実際に行われなかった調査が隠されている可能性があります

ある症例を考えてみましょう。肝硬変の患者が、肝性脳症（hepatic encephalopathy）を伴って入院します。これは、機能不全に陥った肝臓によって毒素が体内に蓄積することで生じる意識混濁です。この状態には必ず何らかの引き金となる要因があり、その原因を取り除くことが治療の基本となります。したがって、判断すべき点は二つあります。まず、記録上に明確な引き金の兆候があるかどうか。そして、今回の症例で疑われる候補が実際に検査されたかどうかです。

システムは引き金の存在を検出しました。患者は毒素を排出する薬剤の服用を中断しており、電解質異常と腎機能障害を呈して来院していました。これは確かな根拠であり、正しく抽出されています。

しかし、この患者には腹水（ascites）も併存しています。肝硬変の患者が意識混濁を示す場合、最も危険な引き金である感染症の有無を確認するために、腹腔液を針で採取して検査する必要があります。ところが、誰もその採取を行わずに入院記録は閉じられてしまいました。この候補要因については「あり」とも「なし」とも断定できず、結果として原因は確定せず、防御的な判断としては『判定不能：データ不足』となります。

16 個のシステムのうち 13 個が、それでも確定的なラベルを付与しました。そのうち 12 個が「あり（Yes）」と回答し、信頼度は最高値の 100% に達していました。7 つのシステムは、血液培養、尿培養、胸部 X 線検査の結果に基づいて感染症の可能性を否定し、誰も検査していなかった唯一の感染リスクをこれでカバーしたかのように判断しました。結論は決定的に見えますが、その背後にある作業内容は決してそうではありません。

表面的な調査と誤った回答は明白な失敗ですが、それと同様に頻繁に起こる、より微妙な失敗があります。それはシステムが同じ近道を選び、結果として正しい結論に至ってしまうケースです。答えだけを評価すれば、運良く正解したものと慎重な検討を行ったものが同点になってしまいます。ClincARE-Bench はこの両方を評価します。すべての検索、計算、ポリシー参照はログに記録され再生可能なので、最終報告書だけでなく、調査プロセスそのものを検証できます。プロセスを評価対象とすることで、リーダーボードの順位も変わります。

*図 2. 欠陥のない精度が順位を再編成する。白丸は生来の精度、塗りつぶされたマーカーは欠陥のない精度、接続線は精度の差（デフェクト・ギャップ）を示します。色はハッチングファミリーを表しています。Gemini-3.1-Pro は生来的な精度ではリーダー陣営に並んでいますが、近道で正解したケースが除外されると、Claude や Codex システムのうち 1 つを除くすべてを下回ります。

仕組み

エージェントに整然と組み立てられた文脈を手渡すわけではありません。MIMIC-IV を基盤とした再現可能なランタイムを提供します。これは 364,627 人の患者データと約 9 億件の構造化行をカバーしています。これが単なるデータベース検索ではなく、真の調査となるのは環境構築の方法にあります。

患者に特化したツール、生データではない。 エージェントは、検査値、バイタルサイン、ノート、薬剤、指示といった臨床的エンティティを中心に構築された、臨床医が検証した制限付きのツールを通じて、1 人の患者のカルテを取得します。これらのツールで対応しきれない場合、上限を設けた読み取り専用の SQL フォールバックが隙間を埋めます。これらは別ログに記録されるため、エージェントが意図したインターフェースから外れたときに検出可能です。計算にはサンドボックス化されたシェル（pandas, numpy, scipy）を用意し、取得した値を変換して、重症度スコアや推移など、判断に必要な派生量を生成します。

*多様性はそのまま保持されます。** データは事前に結合したり要約されたりしていません。エージェント自身が構造化イベントと自由記述のノートを照合し、タイムラインを再構築する必要があります。

ポリシーも判断の一部です。 多くの症例は KDIGO や CMS SEP-1 といった外部基準に依存しています。エージェントは、出典情報を保持するインターフェースを通じて固定されたポリシー文書庫を参照します。これにより、すべてのポリシー主張がその源泉まで遡って追跡可能です。エージェントが患者データを正確に取得し、間違った規則を適用すれば、結果として誤った結論に至ることもあります。

*「判断不能」の 2 つのクラスには重みがあります。** これらは証拠不足と真の曖昧さを区別します。後者はすべての証拠が存在するにもかかわらず、複数の正当な解釈が可能であるケースです。判断保留は、後付けで閾値を付加したのではなく、標準的な枠組みの中に組み込まれています。

参照評価は、異なるファミリーに属する3つの最先端ハッチのアンサンブルから得られ、ブラインド化された臨床評議会のレビューに対して較正されています。較正サンプルでは、参照結果は定義済みラベルケースの91%で独立した医師の判断と一致し（κ = 0.87）、各医師間の合意度よりも高い精度を示しました。

発見したこと

誰も76.1%をクリアできません。 トップシステムでも約4分の1のケースで誤りがあり、最下位は65.3%です。すべてのシステムにおいてMacro-F1スコアは正確率を下回っており、これは「判断保留」の2つのクラスでどのシステムも最も苦戦しているためです。

すべてのシステムが近道を行っており、それが評価順位の入れ替えを引き起こしています。調査プロセスを厳格にクリアすることを求めると、各システムの得点は4.8ポイントから14.8ポイント低下します。これは、各システムが何らかの禁止された近道によって正解を導き出していることを意味します。この低下は均一ではないため、順位も変化します。Gemini-3.1-Pro は生データで72.7%を記録しリーダー群と並んでいましたが、近道による回答が排除されると57.9%に転落し、Claude や Codex システムのほとんどを下回ります（例外は1つだけ）。最も打撃を受けたシステムでは、正解の約5件に1件がルール違反によって導き出されていました。

すべてのシステムで「判断保留」が不足しています。記録が保留を求めているにもかかわらず確定的な判断を下す過剰コミットメントは21.3%から55.3%に及びます。一方、保留すべきケースまで保留してしまう過剰保留は7.3%から16.5%です。これは16システムすべてで観察され、再バランスされたセットでも再現されるため、ラベルの分布の問題ではなくモデル自体の特性と言えます。さらに、システムが判断保留を行う場合でも、記録上で明確に解決できるケースに対して行われることが多々あります。

精度よりも重要なのは「自信」の度合いです。校正誤差は 0.046 から 0.262 の範囲に広がり、その幅は約 6 倍にもなりますが、これは精度による順位付けとは異なる結果をもたらします。臨床医にとって、やり直しには多大なコストがかかるため、正解と一致しない自信を持つことは、数ポイントの精度低下よりも深刻な問題です。

*「正解だが根拠がない」ケースも存在します。* 一部のシステムは証拠を引用せずに正しい結論に達しますが、その引用の精度はモデル自体ではなく、それを支える仕組み（ハネス）によって決まり、小規模モデルから最先端モデルへ移行してもほとんど改善しません。結論が追跡可能かどうかは「足場」によって決定され、正解かどうかは「モデル」次第です。

*計算リソースを増やせば解決するわけではありません。* 1 回あたりのコストには 10 倍の差があり、精度の範囲も約 10 ポイントに広がりますが、推論の努力を低レベルから高レベルへ引き上げても、精度はわずか 0.7 ポイントしか向上しません。これはノイズの範囲内です。ボトルネックは長く考えることではなく、適切な証拠を見つけることにあります。

*再実行しても誤りは検出できません。* 3 回の試行において、pass^k の成功率は avg@k よりも 8.3 から 12.6 ポイント低くなります。これは主に、システムが自分の間違った答えに固執し続けるためです。これらのモデルはランダムに間違えるのではなく、安定して誤った回答を返す傾向があります。

なぜ重要なのか

最終的な答えが正しくても、その結論に至るまでに防御可能な調査が行われたかどうかまでは分かりません。医療専門家が AI の行動を検証する必要がある臨床現場では、調査プロセス自体が成果物です。文書化され、根拠に基づき、慎重な表現でまとめられた診断プロセスは監査可能ですが、単なる結論だけでは検証できません。

CliniCARE-Bench は、調査、根拠の提示、ポリシー活用、プロセス管理、そして適切な判断の停止（キャリブレーションされた拒否）という 5 つの側面を一つのフレームワークで包括的に評価します。このレシピは医療に限定されるものではなく、金融や法務などあらゆる高リスク領域において、監査可能な高度なエージェントが備えるべき「ツールアクセスの統制」「明確な根拠要件」「結果以外のプロセスに基づく採点」という要素は共通しています。

患者データに紐付かないアーティファクト（シナリオ、フレームワーク、コード、ジャッジ用プロンプト）については、近日中に GitHub で公開予定です。一方、患者情報に関連するアーティファクトは、MedHELM の一部として Pacific AI がホストします。

システムの詳細やフレームワークの仕組み、ベンチマークの完全な結果については、arXiv に掲載された論文をご参照ください：https://arxiv.org/abs/2608.07796