臨床 AI ノートの内部：Sebastian Fox が語る Composo の実像

臨床 AI ノートの「静かなる致命的エラー」：なぜ精度が高くても患者は危険にさらされるのか

医療現場で展開される生成 AI のノート作成システム。一見すると完璧に見える出力の裏には、重要な症状や文脈が欠落した「静かなる致命的エラー」が潜んでいると警告する専門家がいます。

Sebastian Fox 氏は、技術的な誤りではなく「何が重要か」という文脈的判断（タキット）をシステムが持たないことが、高リスク領域での導入における最大のボトルネックであると指摘します。本記事では、なぜ既存の評価システムがこの欠陥を見逃し続けるのか、そしてどう対応すべきかを解説します。

技術的には正しくても「致命的」な欠落

AI が作成した臨床ノートは、一見すると問題なさそうに見えます。しかし、その裏には患者の生命に関わる情報が抜け落ちているケースが頻発しています。

ある事例では、50 代以上の女性が顎の痛みを訴えていました。これは「巨細胞性動脈炎」の典型的な症状であり、放置すれば数日で失明するリスクがあります。しかし、AI はこれを単なる緊張型頭痛と判断し、「パラセタモールを飲んで様子を見てください」という指示しか出力しませんでした。

「ページ上の記述は技術的に間違っていないのです。危険なのは、そこに書かれていない部分です」

このように、AI が事実を歪曲するのではなく「重要な情報を省略」してしまうケースが最も厄介です。実環境での大規模調査では、約 20 人に 1 人のノートに患者に重大な危害を与える可能性のあるエラーが含まれており、その多くは「見逃される静かなエラー」でした。

「検証の方が容易」という神話の罠

一般的に、AI の生成よりも検証（評価）の方が容易だと考えられています。数学やコードでは正解が明確ですが、医療ノートのような文脈依存のタスクではそうはいきません。

既存の評価システムは、専門家によるチェックリスト（ルブリック）や静的なルールに基づいています。しかし、専門家の直感的な判断（タキット）は、以下の 3 つの性質のために事前に書き下すことができません。

1. 暗黙性: 専門家はそれが重要だと知っているが、なぜそうなるのかを言語化できない。
2. 文脈依存性: 同じ情報でも状況によって重要性が全く変わる。例えば「海外旅行歴」はフランスからの渡航なら無関係ですが、アフリカ・マラウイからの渡航であれば「住血吸虫症」の診断に直結します。
3. 流動性: 医療ガイドラインや病院の方針、医師の判断基準は常に変化します。

「評価システムが静的なルールのみを頼りにしている限り、こうした微妙な欠陥を見逃し、二重の安全網として機能しないのです」

なぜ高度なモデルでも見逃すのか？

最新の AI モデルであっても、文脈的な重要性を判断できないため、これらのエラーを検知できません。あるケースでは、医師と患者が「抗生物質を試してから様子を見る」と合意したにもかかわらず、AI は「検査を実施する」という過去のプランをノートに記録してしまいました。

これは事実の捏造ではなく、「意図」の誤解です。AI は単語は正しく認識していますが、その会話の中で何が決定事項として重要かを理解できていません。そのため、評価用 AI（ジャッジ）もまた「記述は忠実だ」と判断し、エラーを見逃してしまいます。

「良いジャッジがそれを捕捉できるかもしれません。しかし、それが他の問題と区別してフラグを立てるかどうかは、何が最も重要な決定事項かを理解しているかにかかっています」

動的学習ループへの転換を提案する

既存の「事前定義されたルール」や「静的な評価基準」では限界があります。Fox 氏は、過去の失敗事例や専門家の修正フィードバックを継続的に取り込み、ケースごとに評価基準を適応させる「動的学習ループ」型の評価エージェントの導入を提案しています。

これは、強化学習（RLHF）がなぜ存在するかという問いに対する答えです。良い行動の基準を事前に書き下すのは不可能なため、事例から学習する必要があります。その際、重要なのは「どこに知識を保持するか」です。

• プロンプトやルール: 事前定義は柔軟性に欠けるため失敗します。
• モデルの重みへの埋め込み（ファインチューニング）: 基準が流動的な場合、学習した知識が古くなるリスクがあります。

必要なのは、過去の事例を蓄積し、文脈に応じて評価基準を動的に構築・更新するシステムです。これにより、「何が重要か」という暗黙の知見をシステムに浸透させることが可能になります。

まとめ

生成 AI の実装において「精度」だけでなく「文脈的妥当性」を保証することは、医療や法務などの高リスク領域では死活問題です。企業や開発者は、静的なテストスイートの限界を超え、継続的なフィードバックループを組み込んだ評価インフラへの投資を迫られることになります。