英国の肝臓移植マッチングアルゴリズムは若年層を体系的に除外しているか？

アルヴィンド・ナラヤナン、アンジェリーナ・ワン、サイアシュ・カプール、ソロン・バロコス による

予測アルゴリズムは数多くの生死に関わる場面で利用されています。論文『Against Predictive Optimization』において、私たちは人々に関する意思決定に予測論理を用いることには反復して現れる本質的な欠陥があり、多くの場合で拒絶されるべきであると主張しました。

痛ましい事例研究が英国の肝臓配分アルゴリズムから出ています。このアルゴリズムは年齢による差別を行っているように見え、ある若年患者は病状がいかに重くとも移植を受けられないようです。ここで何が起きたのでしょうか？これは修正可能なのでしょうか？それとも医療システムは肝臓移植マッチングにアルゴリズムを使用することを避けるべきなのでしょうか？

肝臓配分アルゴリズムの仕組みについて

英国は2018年に肝臓移植システムを国営化し、病状の重症度に基づいて肝臓が優先されていた従来の地域システムを置き換えました。1 肝臓が利用可能になった際、新しいアルゴリズムは予測論理を用いて、全国待機リスト上の各患者がその肝臓を与えられた場合にどの程度恩恵を受けるかを計算します。

具体的には、アルゴリズムは、患者にその肝臓が与えられた場合の生存期間と、移植を受けなかった場合の生存期間をそれぞれ予測します。この2つの差が患者の「移植便益スコア（Transplant Benefit Score: TBS）」です。患者はこのスコアの降順で並べ替えられ、最上位の患者に肝臓が提供されます（拒否された場合は次位の患者に提供され、以下同様）。

この説明を踏まえると、移植によって高齢患者に比べてはるかに多くの人生の数十年を獲得できる可能性があるため、アルゴリズムは若年患者を優遇するものだと予想される。もしアルゴリズムが逆の効果をもたらすのであれば、スコアが不正確に表現されているか、計算が誤っているかのどちらかである。どちらなのかは後ほど確認しよう。その前に、より基本的な問いについて議論しよう。

なぜ予測 AI が必要なのか？

アルゴリズムによる意思決定の倫理に関する議論は往々にしてバイアスに焦点を絞りすぎ、そもそもアルゴリズムを使用することが正当化されるのかという根本的な問いを見落としている。例えば、刑事司法システムにおける裁判前リスク予測を考えてみよう。バイアスは深刻な懸念ではあるが、より深い問いは、有罪判決ではなく将来の行動の予測に基づいて被告人の自由を剥奪することが道徳的に正当化されるかどうかである。特にその予測が単なるコイン投げとほとんど変わらない精度しかない場合だ。

臓器移植は多くの点で異なる。医療システムは非常に限られた貴重な資源を効率的かつ倫理的に利用する必要があり、正当な権利を持つ多くの人々にそれを配分するための何らかの原則的な方法を見つけなければならない。そこには数千もの潜在的な受容者がおり、臓器が利用可能になった際には迅速に決定を下さなければならない。人間の判断ではスケーラビリティ（拡張性）が保てない。2

予測アルゴリズムの必要性を回避しようとする別の方法は、臓器のプールを増やして、もはやそれほど希少ではなくなるようにすることです。人々に臓器提供への登録を促すことは確かに重要です。しかし、肝臓の供給が制約でなくなっても、特定の肝臓からどの患者が最も恩恵を受けるかを予測することは依然として有用でしょう。

場合によっては、単純な統計式を用いることで、予測 AI の利点のほとんどを得ながら、その欠点を回避できます。実際、英国の以前の肝移植システムは、いくつかの血液マーカーの数値に基づいた、疾患重症度を予測するための比較的シンプルな式である「UK 末期肝疾患スコア（UK End-stage Liver Disease score）」に基づいていました。新しいシステムでは、疾患の重症度に加えて、移植による恩恵も考慮されます。また、これはよりブラックボックス化されています。データ駆動型の最適化プロセスから導出され、医師や患者が頭の中で理解するには複雑すぎるという意味で「AI」です。予測にはドナーと受容者からの 28 の変数が使用されます。

少なくともこの文脈では、この複雑さが正当化されている可能性は十分にあります。なぜなら、健康アウトカムは犯罪を犯す人物を特定するよりもはるかに予測可能だからです（ただし、これは疾患によって異なります）。フォローアップ研究により、マッチングアルゴリズムが実際に、置き換えられたシステムよりも多くの命を救っていることが確認されています。

したがって、アルゴリズムの使用に反対する根拠を最初から示す必然性があるわけではありません。むしろ、何が間違っていたのかという詳細を検討する必要があります。それらの詳細を見ていきましょう。

フィナンシャル・タイムズの調査

2023 年 11 月、フィナンシャル・タイムズ（Financial Times）はアルゴリズムにおけるバイアスに関する衝撃的な調査記事を掲載しました。この調査の中心には、嚢胞性線維症を含む複数の遺伝性疾患を抱える 31 歳の患者サラ・マーティデッド（Sarah Meredith）がいます。記事では、彼女が移植適応度スコア（Transplant Benefit Score: TBS）アルゴリズムが存在し、自らの運命を決定するものであることを偶然発見した経緯や、その仕組みを理解しようとする苦闘、肝臓担当医がこのアルゴリズムについて基本的な知識さえ持っていなかったこと、そして TBS スコアに対する医師による上書き権限も異議申し立て手続きもないことに気づいた事実が描かれています。

彼女が説明を求めて国民保健サービス（National Health Service: NHS）に問い合わせた際、繰り返し「理解できないだろう」と言われました。どうやら、医療システムの父権主義とアルゴリズムの不可解さという神話との組み合わせは、特に有害な混合であるようです。

メアリディは最終的に、TBS（移植適合度スコア）を計算するウェブアプリに行き着きました。これはエウェン・ハリソン教授とそのチームによって開発されたものです。彼は外科医でありデータサイエンティストで、TBS を研究しており、同アルゴリズムのいくつかの失敗に関する研究の共著者でもあります。このアプリを通じて、メアリディはアルゴリズムがいかに偏っているかを理解しました。また、これはアルゴリズムによる意思決定の不透明性が神話に過ぎない理由も示しています：内部構造を理解していなくても、システムの振る舞いを理解するのは容易です。特に、特定の患者が関心を持つのはシステムが特定の事例でどのように振る舞うかという一点に限られるからです。

しかし、これは単なる一人の患者の経験ではありません。『フィナンシャル・タイムズ』の記事から引用すると：

「45 歳未満であれば、いかに病状が悪くても、リスト上で優先順位を得るのに十分なスコアを獲得することは不可能です」と語るのは、同国最大の肝移植センターの一つを有するバーミンガム大学の顧問肝臓専門医であるパラク・トリヴェディ氏です。

ついに、2024 年に『ランセット』誌で発表された研究が、このアルゴリズムが若年患者に対して深刻な偏見を持っていることを確認しました。3

患者団体は偏見について警告

マッチングシステムの目的は、移植によって最も生存期間を延ばすことができる受容者を特定することです。これを実現する明白な方法は、各患者の移植あり・なしにおける予想生存時間を予測することですが、アルゴリズムがほぼそれを行っているものの、完全にはそうではありません。実際には、各患者の移植あり・なしにおける5 年生存率を予測しています。

この方法には明らかな問題があります。ある患者グループは、2015 年に公式な経路を通じて、このアルゴリズムが施行されるずっと前に以下のフィードバックを提供しました：

5 年間の生存率を上限とする措置は、実際には若年患者にとっての恩恵を減殺しており、生涯にわたる利益を 5 年間に限定して予測することで、生涯全体における利益獲得を見過小評価しているからです。現在のシステムでは、小児および小柄な成人患者が、国の優先事項として小柄な成人用肝臓へのアクセスを得られることで恩恵を受けています。しかし、若年成人は他のすべての成人患者と直接競争しなければなりません。提案されたモデルでは、若年患者の死亡が、高齢の成人患者の死亡と比較して、より多くの期待される生存年数の喪失を伴うという認識がありません。また、待機期間が長いことが、若年患者のキャリアや家族、社会への貢献といった見通しに与える影響についても、高齢の成人患者との比較において認識されていません。若年患者はまだ人生を送る機会を得ておらず、彼らの恩恵を計算するために適用される規則によって、待機リスト上の若年患者というコホートがどのように影響を受けるかについて考慮すべきです。

これがアルゴリズムの行動につながる理由です。若年患者は（正しく）5 年間移植なしで生存する可能性が高く、また 5 年間移植ありで生存する可能性も高齢患者と同程度であると予測されます。そのため、若年患者の予測されるネット利益（5 年間の期間における）は、高齢患者に比べて大幅に小さくなります。生涯全体を通じて見れば、若年患者の方がより大きな恩恵を受ける可能性が高いですが、アルゴリズムはこの点を考慮していません。

ターゲット変数を提示すれば、問題点を明らかにします

2018年のアルゴリズムのバージョン 1 および 2022 年のバージョン 2（がん患者に対するバイアスを修正した）においてなぜこの問題が見過ごされたのかは明確ではありません。おそらく開発者は年齢によるバイアスの深刻さを認識していなかったのでしょう。2024 年に発表されたアルゴリズムに関する論文においても、5 年間の上限を含む多くの限界について簡潔に言及されているにもかかわらず、その上限が若年患者の優先度を下げるものであるという記述はありません。

一方、特徴量（ドナーおよびレシピエントの特徴）のリストは、システムに関する公的なコミュニケーションにおいて目立って列挙され、議論されています。これは、アルゴリズム、特にその潜在的な差別的影響を理解する方法として、特徴すなわち入力となる特徴量のリストを見るべきだという誤解を反映している可能性があります。実際には、公平性にとって重要なのは特徴量よりも、ターゲット変数すなわち出力であることが往々にしてあります。

残念ながら、この重要な事実に気づいているのは技術コミュニティの外ではほとんどなく（技術コミュニティ内ですら時折例外ですが）、むしろ敏感変数（年齢、人種、性別など）やその代理変数を特徴量のリストから削除することに狭く焦点を当てがちです。しかし、そのようなアプローチは通常無効であり、しばしば逆効果さえもたらします。

5 年という期間の選択は、データの入手可能性によるものと思われます：「このフォローアップ期間は、データが容易に入手可能であった一方で、より長いフォローアップは不可能であったため、選択されました」。私たちの経験では、関心のある真の構成要素（コンストラクト）を正確に測定することを妨げる困難が常にほぼ存在するため、これが『予測最適化への反対』論文で私たちが指摘する繰り返される欠陥の一つとなっています。これはターゲットと構成要素の不整合です。なぜなら、予測されているもの（ターゲット）は、実際に予測したいもの（構成要素）とは異なるからです。

事態はさらに悪化します

上限の設定により、ほとんどの患者グループにおける移植後の期待生存期間はほぼ同じ（約 4.5 年）となります。これは、移植後 5 年で約 85% の患者が生存しているという事実を反映しています。したがって、移植の効用は高いものの、ほぼ均一に高いため、スコア算出において実際には考慮されません。実はこのアルゴリズムは、主に必要性（ニーズ）の評価、つまり移植を受けなかった場合に患者がどの程度生存できるかを評価するものとなっているのです。

これは皮肉なことです。なぜなら、このシステムを以前のシステムよりも使用する主な理由として、移植後の生存期間のモデリングが主張されていたからです。もしこれがより多くの人々の死を防いでいるのであれば、それは単に必要性の評価においてより優れた仕事をしているため、および/またはアルゴリズムの使用が地域から国レベルへの移行と重なった結果、以前にサービスが行き届いていなかった地域の高いニーズを持つ患者により適切に対応できるようになったためであると推測されます。

このシステムが掲げた目標を達成するのがあまり得意ではないという事実は、アルゴリズムが開発されてから約 10 年経ってからようやく報告されたように思える（ただし振り返れば、導入前に実行されたシミュレーションの結果には明確な兆候があった）。具体的には、そのアルゴリズムに関する論文のコメントと回答セクションで指摘されている。隠蔽性の観点から見れば、これは学術界におけるウィキペディアの「議論」ページに相当するものであり、一般大衆のほとんどはそんなものが存在することさえ知らないだろう。

アルゴリズム的な不合理：がんが生存率を改善する

上記論文の著者たちは、このアルゴリズムに含まれる 2 つのモデル（移植後生存）のうち一方があまり機能していないことに言及しているが、彼らの主な論点はもう一方のモデル、つまり待機リスト上での生存を予測することで必要性を評価するモデルに関するものだ。彼らは、他の条件が等しい場合、がん患者の方が非がん患者よりも長く生存すると予測していると示している。このような現象は「アルゴリズム的な不合理」と呼ばれることがあり、常識に基づけば人間にとって明らかに誤りであるように思われる。

がん患者に関する予測は単なる珍奇な事例ではなく、患者の人生に大きな影響を及ぼすものである：「TBS 制度（COVID-19 の影響により TBS の提供が一時停止された期間を除く）開始から最初の 3 年間は、TBS モデルによって肝臓を割り当てられるがん患者はほとんどいなかった」。これが 2022 年のアルゴリズム改訂へとつながったのである。

この発見は、数十年前に起きたよく知られた失敗を思い起こさせます。あるモデルは、喘息を持つ患者が肺炎の合併症を発症するリスクが低いと予測しました。幸いにも、このモデルが導入される前にこの問題が発見されました。実際にはデータ内の正しいパターンだったのですが、それは喘息患者が集中治療室（ICU）に送られ、そこでより良いケアを受けていたという事実によるものでした。もちろん、その政策を置き換えて、喘息患者を低リスクとみなす機械学習モデルを採用していたら、大惨事になっていたでしょう。この事例研究は、ブラックボックスモデルよりも解釈可能なモデルの有用性を示す教科書的な例となっています。研究者がモデルの係数を容易に検討できる場合、不自然な挙動はより明確に明らかになります。

TBS は解釈可能な回帰モデルを使用しています。しかし、実際には2つの異なるモデルセットがあり、1つはがん患者用、もう1つは非がん患者用です。これは両グループが異なるデータソースによって表現されているためです。これがアルゴリズムの不合理な振る舞いが生じた理由を説明するものです—患者集団が異なるからです。おそらく、がん患者が抽出された集団の方が、他の点でも若く、より健康だった可能性があります。もちろん、特定の患者を非がんからがんへと切り替えることで予測生存率が上昇するというアルゴリズムの振る舞いを正当化するものではありません。2つの異なるモデルセットが存在する事実が、なぜ長期間検出されなかったかを説明している可能性もあります—この問題は回帰係数からは明白ではなく、患者集団をシミュレーションすることで初めて検出できるのです。

功利主義的倫理への居眠り運転

予測ロジックは功利主義的世界観—最大多数の最大幸福—を組み込んでいます。そのため、「受給資格」の概念を取り入れることが困難になります。多くの人は、自身のコントロール外の要因によって状態が悪化した患者の方が、支援を受けるに値するという強い道徳的直感を持っています。Financial Times の記事から：

トレビディ（肝臓専門医）は、若年患者に対するバイアスが存在することについて特に不公平だと指摘しました。なぜなら、若い人々は生まれつき肝疾患を抱えているか、子供時代に発症する傾向がある一方、高齢患者の多くはアルコール摂取などの生活習慣に起因して慢性肝疾患を発症するためです。

ドナーの意向も軽視されています。例えば、おそらく一部のドナーは自分と同じコミュニティの人を助けたいと考えるでしょう。しかし、功利主義的な世界観においては、これは単なる地理的差別とみなされます。（私たちが言いたいのは、 deservingness やドナーの意向が重要な考慮事項かどうかではなく、アルゴリズムが倫理的枠組みを決定しているという点です。）

従来、個別の医師は形式的な推論や説明責任を伴わずに移植に関する判断を下していました。しかし、臓器移植のルーチン化と規模の拡大、そして全国規模のマッチングシステムへの移行により、手動でのマッチングはもはや現実的ではありません。自動化によって意思決定者はマッチング基準を明確にするよう迫られました。この形式化は良いことでもあります。なぜなら、これにより特定の政策の長所と短所について倫理的な議論が可能になるからです。

しかし、自動化は計算しやすい功利主義を優遇する結果となりました。功利主義以外の考慮事項は定量化に抵抗を示します。アルコールを摂取した患者に対してどの程度のペナルティを適用するかを決定する責任を負う委員会など、誰も望むものではないでしょう。また、どのような選択を下しても激しい反対に直面することになります。一方、データ駆動型の意思決定という外見は多くの規範的な選択を隠しながらも、意思決定者間で合意形成を可能にし、無限の議論なしにアルゴリズムを導入することを許容します。

このため、功利主義は過去数十年にわたり、医療倫理や公衆衛生を含む多くの分野で優勢となってきました。

肝臓マッチングアルゴリズムが生命年（ただし不十分ながら）を最適化する一方で、他のアルゴリズムや機関はさらに一歩進み、「質調整済み」生命年を最適化します。これには、個人がいかにして日常生活のタスクを完了できるか、またどの程度の痛みを抱えているかなどの要因が考慮されます。質調整には、障害を持つ人々への優先度を下げるという副作用があります。

全体的に、私たちは功利主義的論理へのこの転換自体を必ずしも反対しているわけではありません。しかし、それが単なる利便性のためではなく、民主的なプロセスの結果として行われる場合にのみ採用されるべきだと考えています。尻尾が犬を振るようなことはあってはなりません。多くの国で多くの臓器において、国民化された移植システムへの広範な転換や、それを支える倫理的論理について、一般大衆がどの程度認識しているかは明確ではありません。私たちが議論してきたような特定のシステムに関する公衆の意見は、根本的な道徳的枠組みについての広範な社会的合意に代わるものではありません。また、この議論を医療倫理学の文献の中に閉じ込めておくべきでもありません。

次に何をするか

肝臓配分アルゴリズムは、イギリスの公的資金による医療システムである国民保健サービス（NHS）によって開発され、運用されています。私たちは以前の本ニュースレターで、公共部門機関がアルゴリズム意思決定システムを不透明で利益指向的な企業にアウトソースした場合に悪い結果が生じることを説明しました。しかし今回はそのケースではありません。開発者たちは命を救うために最善を尽くしています。このシステムには多くの思考と配慮が注がれており、公衆からの意見も反映されています。もし誤りがあったとしても、それは問題の難しさに起因するものです。

肝臓配分アルゴリズムには、対処可能かつ対処すべき明確な問題が存在します。年齢バイアスを緩和する方法は少なくとも3つあります。第一に、より多く、より質の高いデータを収集することです。第二に、アルゴリズムのスケールに「親指」を添えて、受容者の年齢分布が社会の規範的理想と概ね一致するように保証することです。これは、制約付き最適化問題（アルゴリズムの公平性に関する多くの論文でこの手法が示されています）を定式化することで達成できます。第三に、年齢を要因として使用しないことです。上記の理由から私たちはこのアプローチを好んでいませんが、非専門家に対してはより容易に正当化できるかもしれません。

肝臓諮問グループ（Liver Advisory Group）は変更を実行する権限を持つ団体です。メンバーは6ヶ月ごとに会合を開きます。残念ながら、彼らは2024年5月の会議の議事録をまだアップロードしていないため、彼らが注意を払っているかどうかは不明です。

より深層的なシステム的問題への対応は困難になります——医療倫理における不十分な透明性と公衆参加の問題です。医療意思決定におけるAIの急速な導入には、社会全体での倫理的議論が必要です。これは特定のアルゴリズムに関する話ではなく、その有効性およびしたがって正当性を主張する背後にある検証されていない仮定の束に関するものです。遅れるに越したことはありません。

医療の枠を超えて、予測的決定プロセスを異なる分野に適用する際に生じる落とし穴は、互いに驚くほど類似した特徴を示しています。これは、これらの欠陥を回避するためのさらなる研究と、異なる分野から集まり相互に学び合う実践者コミュニティの必要性を呼びかけています。公平性・説明責任・透明性に関する会議（Fairness, Accountability, and Transparency）のような場は、こうした横断的なグループを集結させることができます。

さらに読むべき文献

集団の健康管理に用いられるアルゴリズムにおける人種バイアスを解剖する論文は、誤った目的変数の使用が深刻なバイアスをもたらすことを明らかにした古典的な研究です。

『Voices in the Code』は、米国における腎臓移植マッチングアルゴリズムの開発を詳細に記述した優れた書籍です。それは