オンタリオ州監査：医師用AIノートテイクが事実を誤る

オンタリオ州の医療提供者向けに承認された AI システムは、重要な詳細を見落とし、誤った情報を挿入し、患者も臨床医も言及していない内容を捏造する傾向が、20 社の承認ベンダーのシステムを対象とした州監査によって明らかになりました。この発見は、カナダのオンタリオ州監査総長事務所によるもので、同州の公共サービスにおける AI 利用状況に関するより広範な報告書に含まれています。これらは特に、オンタリオ州保健省が医師、看護師、およびより広い医療セクターの他の医療専門家のために開始した「AI Scribe」プログラムに焦点を当てています。

調達プロセスの一環として、当局は模擬的な医師 - 患者の録音を用いて評価を行いました。その後、医療専門家は元の録音と AI が生成したノートを見比べ、その正確性を評価しました。彼らが見つけたことは、危機的状況における AI の精度を懸念する人々にとって、正直に言って衝撃的なものでした。

報告書によると、20 件の AI システムのうち 9 件が「録音で議論されていない患者の治療計画に関する情報を捏造し、提案を行った」とされています。報告書によれば、評価者はサンプルレポートにおいて、腫瘍が見つからなかったり、患者が不安を抱えていたりするなど、致命的な誤った情報を発見しましたが、これらは録音では一切言及されていませんでした。

評価された 20 のシステムのうち 12 が患者ノートに誤った薬物情報を挿入し、17 が「録音で議論された患者のメンタルヘルス問題に関する重要な詳細を見落とした」とされています。報告書によると、6 つのシステムは「患者のメンタルヘルス問題を完全にまたは部分的に見落とし、あるいは重要な詳細を欠いていた」ことが示されました。

新しい技術の導入を医師に支援し、AI Scribe の調達プロセスに関与した団体である OntarioMD は、医師が AI ノートの正確性を手動で確認するよう推奨していますが、報告書では、承認されたどの AI Scribe システムにも必須の証明機能がないと指摘されています。

評価が悪いこともまた、問題です。AI システムが間違いを犯すことは決して驚くべきことではありません。私たちが以前報じたように、消費者向け AI はユーザーに誤った医療情報を提供する傾向があり、いくつかの研究では、大規模言語モデルがテストされた症例の約 80% で適切な鑑別診断を生み出せていないことが示されています。

しかし、ここで評価されたツールは消費者ではなく医師向けのものです。このような poor なパフォーマンスには説明が必要です。

報告書の大部分は、システムがどのように評価されたかに責任を転嫁しています。報告書によると、AI Scribe のパフォーマンスの各カテゴリに割り当てられた重みが不正確でした。プラットフォームの評価スコアの 30% がオンタリオ州内に国内拠点を持つかどうかという点のみで決定される一方、医療ノートの正確性が総スコアに寄与したのはわずか 4% でした。

バイアス制御は総評価スコアの 2% に過ぎず、脅威・リスク・プライバシー評価もさらに 2% を占めるにすぎませんでした。また、SOC 2 Type 2 コンプライアンスは追加で 4 ポイントしか貢献していません。つまり、正確性、バイアス制御、および重要なセキュリティとプライバシー保護に関連する基準は、AI Scribe システムの総評価スコアのほんの一部に過ぎなかったのです。

報告書は「不正確な重み付けにより、不正確または偏った医療記録を生成する可能性のあるベンダーや、機密性の高い個人情報を守るための十分な保護手段を欠くベンダーが選定される結果になる可能性がある」と述べています。

The Register はオンタリオ州保健省にこの報告書に対する見解と、AI Scribe プログラムに関する同省の推奨事項に従う予定があるかどうかについて問い合わせましたが、すぐに回答は得られませんでした。同省の広報担当者は水曜日に CBC に対し、オンタリオ州では 5,000 人以上の医師が AI Scribe プログラムに参加しており、この技術に関連する患者への被害に関する既知の報告はないと述べています。

®