オンタリオ州の監査、医師用 AI ノートテイクが事実と異なる情報を生成していることを発見
オンタリオ州の監査により、政府が認定した医療用 AI ノートテイクツール 20 社すべてに精度や完全性の欠陥があり、患者への有害な治療計画につながる可能性のある誤情報（ハルシネーション）が確認された。
キーポイント
政府認定ツールの全般的な不備
オンタリオ州の監査局が行ったテストでは、州政府が購入を推奨した 20 の AI スクリベントベンダーすべてに、少なくとも 1 つ以上の精度または完全性の問題が見つかった。
深刻なハルシネーションと誤記
テスト結果では、9 つのベンダーが架空の患者情報を捏造し（ハルシネーション）、12 社が処方薬の名前を誤って記録するなど、医療判断に直結する重大なエラーが発生した。
精神保健情報の見落とし
特に懸念される点として、17 のベンダーが議論された精神保健に関する重要な詳細を見落としており、これが不十分な治療計画や患者の健康転帰への悪影響を招く恐れがある。
影響分析・編集コメントを表示
影響分析
このニュースは、医療分野における生成 AI の実用化に対する重大な警鐘を鳴らすものです。政府による事前認定制度が機能していない可能性を示唆しており、医療従事者や規制当局に対して、AI ツールの導入前に独立した厳密な検証を行う必要性を強く認識させる結果となりました。将来的には、医療 AI の安全性基準の再構築や、責任所在に関する議論が活発化することが予想されます。
編集コメント
政府が推奨するツールでさえこれほど致命的な欠陥を抱えている現状は、医療現場における AI 導入の慎重さを改めて問う内容です。技術の進歩だけでなく、その安全性保証プロセスの重要性を痛感させられる記事です。
近年、多くの過労状態にある医師たちは、患者との会話、診断、ケアの決定を構造化されたノートに変換して健康記録に記録するための支援として、いわゆる AI 医療書記（AI medical scribes）を利用するようになりました。しかし、オンタリオ州監査官による最近の監査では、州政府が推奨する AI 書記が、不正確で不完全な情報や、架空の情報（ハルシネーション）を定期的に生成しており、「患者の健康結果に潜在的に影響を与える可能性のある、不適切または有害な治療計画につながる恐れがある」と指摘されています。
オンタリオ州における人工知能の使用に関する最近の報告書において、監査官は、州政府が医療提供者による購入のために承認し事前資格を与えた 20 の AI 書記ベンダーに対して実施された、2 つの模擬患者-医師会話の転写テストをレビューしました。そのすべての 20 ベンダーで、少なくとも 1 つの単純なテストにおいて精度または完全性に何らかの問題が見られ、9 ベンダーが患者情報を架空のものとして生成し（ハルシネーション）、12 ベンダーが情報を誤って記録し、17 ベンダーが議論されたメンタルヘルス問題に関する重要な詳細を見落としていました。
報告書において、監査官は、これらの要約に含まれる複数の懸念すべき誤りの具体例を指摘しており、これらは患者のその後の治療に直接的かつ悪影響を及ぼす可能性があります。具体的には、AI 書記が血液検査や療法のための存在しない紹介状をでっち上げたり、処方薬の名前を誤って書き写したり、シミュレーションされた会話で議論された精神保健上の「重要な詳細」を見落としたりする事態が含まれます。
記事全文を読む
コメント
原文を表示
In recent years, many overworked doctors have turned to so-called AI medical scribes to help automatically summarize patient conversations, diagnoses, and care decisions into structured notes for health record logging. But a recent audit by the auditor general of Ontario found that AI scribes recommended by the provincial government regularly generated incorrect, incomplete and hallucinated information that could "potentially result in inadequate or harmful treatment plans that may potentially impact patient health outcomes."
In a recent report on Use of Artificial Intelligence in the Ontario Government, the auditor general reviewed transcription tests of two simulated patient-doctor conversations performed across 20 AI scribe vendors that were approved and pre-qualified by the provincial government for purchase by healthcare providers. All 20 of those vendors showed some issue with accuracy or completeness in at least one of these simple tests, including nine that hallucinated patient information, 12 that recorded information incorrectly, and 17 that missed key details about discussed mental health issues.
In the report, the auditor general points out multiple concerning examples of mistakes in those summaries that could have a direct and negative impact on a patient's subsequent care. That includes situations where an AI scribe hallucinated nonexistent referrals for blood tests or therapy, incorrectly transcribed the names of prescription medication, and/or missed "key details" of mental health issues discussed in the simulated conversations.
Read full article
Comments
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み