Preserving the privacy of AI training data｜AI 学習データのプライバシー保護

大規模言語モデルは、現在使用されている最も注目度の高い機械学習（ML）モデルですが、膨大な量の公開データを用いて訓練されています。しかし、多くの ML モデルは、より小規模で独自性の高いデータセット上で訓練されており、これらは非常に機密性が高く、非公開に保つ必要があります。例としては、患者の放射線画像を基に診断モデルを微調整する病院、取引履歴に基づいて不正検出器を訓練する銀行、臨床試験記録から薬物相互作用モデルを構築する製薬会社などが挙げられます。いずれの場合も、訓練データ自体が保護すべき資産ですが、これらのモデルに対する巧妙な攻撃によって、その背後にある訓練データに関する情報が抽出される可能性があります。このような攻撃は、攻撃者が単一のデータ所有者によって訓練されたモデルに対して敵対的な推論クエリを送信することに制限されている場合に可能です。あるいは、複数のデータ所有者が連合学習（FL）を通じてモデルを共同で訓練する場合、つまり中央サーバーが生産したモデル更新を統合してグローバルモデルを生成する際（生データを集約するのではなく）、敵対的なサーバーがモデル更新から訓練データを再構築できる攻撃が存在します。3 つの病院が患者記録を集約することなく共有のがんスクリーニングモデルを共同で訓練することを考えてみましょう。もし集約サーバーが 1 つの病院の訓練画像を再構築できれば、連合学習によるプライバシー保証は崩壊し、各病院の患者同意契約への準拠も破られます。最後に、敵対的な FL パーティシパントが、グローバルモデルから誠実な参加者のプライベートな訓練データを再構築できる可能性さえあります。これらのリスクは仮説的なものではありません。Google DeepMind の 2023 年の論文では、GPT-3.5-turbo が個人を特定可能な情報を含む訓練データをそのまま再生するようプロンプトされる可能性があることが示されました。集中した機密データセット上で訓練された小規模なドメイン固有モデルは、さらに脆弱です。組織が敏感な金融記録、患者の健康データ、独自性の高いビジネスインテリジェンスを用いてモデルを訓練することが増えるにつれ、攻撃対象領域も比例して拡大します。医療モデルに対する成功した攻撃は、特定の患者の記録が訓練に使用されたかどうかを明らかにし、米国健康保険携行性と責任法（HIPAA）や EU の一般データ保護規則（GDPR）などの規制違反となります。連合学習システムに対する攻撃は、本来ソースから決して離れるべきではない生訓練サンプルを再構築する可能性があります。プライベートなデータ上で訓練を行うあらゆる組織にとって、これらの脅威を理解し緩和することはもはや任意のものではなく、責任ある AI 導入のために不可欠です。本稿では、3 つの段階的にエスカレートする攻撃シナリオ、すなわち単一モデルに対するメンバーシップ推論、連合学習勾配からのデータ再構築、共有グローバルモデルからの訓練データ抽出について解説します。また、差分プライバシーと安全多者計算がそれぞれどのようにこれらの攻撃を無力化するかを示します。 モデル推論への攻撃 クエリアクセス権を持つ誰でも、特定のレコードがモデルの訓練に使用されたかどうかを決定できる可能性があります。この攻撃はメンバーシップ推論として知られています。ある病院が診断モデルを参照医向けの API としてデプロイしたと想像してください。悪意のあるアクターがこの API をプローブして、特定の患者の記録が訓練データに含まれていたかどうかを特定しようとします。これにより、その患者がその病院で治療を受けたことが確認され、医療歴の詳細も明らかになります。2023 年のニューラル情報処理システム学会（NeurIPS）での論文において、Amazon Web Services の研究者たちはこれが実際にどのように機能するかを示しました。訓練済みのモデルは、通常、訓練された入力に対してより高い信頼度の予測を生成する傾向があり、これは攻撃者が悪用できる過学習の一種です。攻撃者はまず、モデルの訓練データの分布を近似するデータセットを生成し、そのサンプルに対するモデルの信頼度スコアを記録します。これらのスコアをラベルとして使用して、攻撃者は訓練データと非訓練データを分離する信頼度スコアの閾値を学習するプロキシモデルを訓練します。候補となるレコードが与えられた場合、攻撃者はプロキシモデルを評価して閾値を取得し、ターゲットモデルにクエリを送信します。もしターゲットモデルの信頼度スコアがこの閾値を超えた場合、そのレコードは訓練セットに含まれていた可能性が高いです。著者らはこの手法を ImageNet-1k で訓練された ResNet-50 モデルに対して実証しました：攻撃者が訓練データとしてフラグ付けしたレコードの 97% が実際に訓練データでした。 差分プライバシーによる緩和 このようなメンバーシップ推論攻撃を、差分プライバシー（DP）を用いてどのように緩和するかを示します。差分プライバシーは、任意の入力が結果に与える影響を制限しながら集計統計量（例えば平均値など）を計算するための数学的枠組みです。核心的なアイデアは、データセットから 1 つのレコードを追加または削除しても関数の出力の分布がほとんど変化しないように関数をランダム化できれば、攻撃者がそのレコードが含まれていたかどうかを確信を持って決定できなくなるという点です。形式的には、ランダム化された関数が微分プライバシーを持つとは、入力データセットに 1 つのレコードを追加または削除した場合でも、任意の特定の出力が生じる確率が最大で e^ε の倍率だけ変化するという条件を満たすことを意味します（ここで e は自然対数の底、ε はプライバシーバジェットです）。より小さな ε はより厳格なプライバシーを意味しますが、計算におけるノイズも増大し、その逆もまた然りです。NIST のガイダンスでは ε < 1 が一般的に十分な低リスクのプライバシーを確保すると示唆していますが、多くの実世界での展開は 1 から 10 の間で運用され、状況に応じたプライバシー結果をもたらします。経験的研究によると、メンバーシップ推論のような攻撃に対して意味のあるデータプライバシーを提供するには ε が最大 3 程度でも十分であることが示されていますが、DP の有効な保証に対する理解はこうした攻撃に対しても進化し続けています。 差分プライバシーは、モデルの訓練データに対する信頼度と未見のデータとの間のギャップに依存するメンバーシップ推論攻撃を無力化します。DP は、特定のレコードが含まれていたかどうかに関わらずモデルがほぼ同じパラメータを学習したはずであることを保証することで、そのギャップを狭めます。 このアプローチはどのように機械学習に応用できるのでしょうか？ニューラルネットワークは確率的勾配降下法（SGD）を用いて訓練されます。これは、モデルの出力とサンプルの目標出力との差がモデルを通じて逆伝播され、モデルパラメータがこの差を減らすように調整されるプロセスです。このサンプルに対応する調整分を勾配と呼びます。実際には、モデルパラメータは通常、バッチ勾配に基づいて調整されます。これは、一連のサンプルに対するサンプル固有の勾配の平均値です。2016 年の画期的な論文において、Google の研究者たちは DP-SGD を導入しました。これは訓練中に各バッチ勾配に較正されたガウスノイズを追加する手法です。私たちは DP-SGD を実装し、EMNIST 手書き文字データセット上でニューラルネットワークを訓練しました。DP モデルは ε = 1.5 でテスト精度 78%、ε = 3.0 で 82% を達成しましたが、DP なしの場合は 90% でした。 差分プライバシーは単一モデルに対する攻撃に対処しますが、複数の組織が共同で 1 つのモデルを訓練する場合どうなるでしょうか？連合学習は、異なる攻撃対象領域をもたらします。それは訓練プロセスそのものを標的とするものです。 連合学習からのデータ漏洩 連合学習は、データセットを直接共有することなく、複数の当事者に分散されたデータセット上でグローバルモデルが訓練される非中央集権的な機械学習の方法です。各当事者はローカルな訓練バッチで初期モデルを訓練し、ローカル勾配を取得します。その後、これらのローカル勾配は中央サーバーに送信され、そこで平均化されてグローバル勾配となります。次に、各当事者はこのグローバル勾配を用いてローカルモデルを更新することで、グローバルモデルのコピーを作成します。 しかし、2019 年の NeurIPS 論文において、MIT の研究者チームが驚くべき結果を示しました：各当事者のローカル勾配は、それらが計算された訓練サンプルに関する情報を漏洩しており、これによりサーバーが当事者の訓練サンプルを再構築できるモデル逆転攻撃が可能になるのです。サーバーが敵対的と見なされないシナリオであっても、この攻撃は勾配が当事者の訓練データを漏洩することを示しており、連合学習のプライバシー目標を無効化します。 この攻撃は、勾配が計算されたサンプルに関する情報を直接含んでいるという観察に基づいています。したがって、サンプルはその勾配から一般的に再構築可能であり、意味的に異なる 2 つの訓練バッチが同じバッチ勾配を受け入れることは稀です。そのため、攻撃者は当事者のローカル勾配からそのバッチサンプルを再構築する問題を最適化問題として定式化します：ターゲット勾配に対して最小限の距離を持つ訓練バッチを見つけるのです。その後、攻撃者は SGD を適用することで解（訓練バッチ）を概算計算できます。 EMNIST データセットでの実験において、この攻撃は単一サンプルのバッチを正確に回復し、サイズ 7 のバッチからは 3 つのサンプルを回復しました。このデータ漏洩を防ぐには、サーバーを含むいかなる当事者も他者の勾配を平文で決して見ないことを保証する必要があります。 安全多者計算による緩和 安全多者計算（MPC）は、関数の出力以外の情報を一切開示することなく、複数の当事者がプライベートな入力上で共同して関数を計算することを可能にする暗号プロトコルです。直感的には、当事者は暗号化された中間値のみを交換するため、いかなる当事者も他者の生入力を決して見ません。 簡単な例で核心的なアイデアを示しましょう：3 つの当事者がそれぞれプライベートな値 x, y, z を持っている場合を考えます。各当事者はその値を 3 つのランダムなシェアに分割し（それらの合計は元の値になる）、1 つずつ他の当事者に配布します。各当事者は受け取ったシェアを合計します。結果として得られる合計自体もランダムですが、それらを足すと x + y + z になります。これらの合計を交換した後、すべての当事者が総和を知りますが、他者の個別入力については何も知りません。 プライベート連合学習（PFL）は、この安全な合計手法を連合学習に応用します：生ローカル勾配をサーバーに送信する代わりに、当事者は勾配を秘密共有し、MPC を介して集約するため、サーバーが決して見るのは合計結果のみとなります。より効率的な PFL プロトコルも存在しており、Amazon のシニアプリンシパルサイエンティストである Tal Rabin が共著した 2023 年の論文で提示されたものもありますが、核心的なセキュリティ原則は同じです。 私たちは、EMNIST データセットを再度使用して、PFL プロトコルの下で計算された当事者のローカル勾配に対してモデル逆転攻撃を実行しました。その結果、攻撃はいかなる訓練サンプルも再構築できませんでした。MPC は FL 中に交換される勾配を保護しますが、グローバルモデル自体はすべての参加者と共有されます。敵対的な参加者がこのモデルを利用して他者のデータを回復できるでしょうか？この問題については次のセクションで探求します。 連合学習グローバルモデルへの攻撃と差分プライバシーによる緩和 PFL が n 人の当事者に安全にグローバル FL モデルを計算させる方法をすでに確認しました。しかし、Fowl らの 2022 年の論文と Shi らの 2025 年の論文は合わせて、敵対的な FL 参加者がグローバルモデルそのものから他者の訓練データを再構築できる攻撃を記述しています。 この攻撃では、攻撃者は ReLU 活性化関数（負の入力をゼロ出力し、正の入力をそのまま出力する一般的なニューラルネットワークの活性化関数）を持つ前処理層をモデルに追加します。この層は nB 個のニューロンで構成されます。ここで B はバッチサイズです。これは、n 人の各当事者が B 個のサンプル固有勾配の平均であるローカル勾配を生成するため、グローバル FL グラデントは nB 個のサンプル固有勾配の平均となるからです。前処理層の nB 個のニューロンのそれぞれが、異なる訓練サンプルの再構築に使用されます。 攻撃者は慎重に前処理層のパラメータを設計し、ReLU がグローバル勾配の最初のニューロンではすべてのサンプルの信号を活性化し、2 つ目のニューロンでは 1 つを除くすべてのサンプルを、3 つ目のニューロンでは 2 つを除くすべてのサンプルを、というように活性化するようにします。したがって、攻撃者は単にグローバル勾配に対応する nB 個のニューロンのエントリを確認し、隣接するニューロンの成分を順次引き算することで、nB 個のサンプル固有勾配を分離します。 前述したように、訓練サンプルはその勾配から直接回復可能です。EMNIST データセットでの実験において、この攻撃はグローバル勾配から当事者のローカルバッチサンプルのうち 1 つを除くすべてを回復しました。しかし、私たちのプライベート FL プロトコルを変更して、プライバシーバジェット 1.5 で DP-SGD を介して計算された差分プライバシーを持つグローバル勾配を出力するようにしたところ、攻撃はグローバル勾配から意味のある情報を一切回復できませんでした。 まとめると、DP と MPC は補完的な防御層を形成します：MPC は訓練中に交換されるものを保護し、DP は最終モデルが明らかにするものを保護します。 攻撃の拡大前に防御を構築する 上記の実験には明確な示唆があります：ML 訓練データに対する攻撃は今日でも実用的であり、それに対抗するためのプライベート計算ツールはすでに運用可能な成熟度にあります。プライバシーと有用性のトレードオフは現実的なものです：私たちの DP-SGD モデルは、意味のあるプライバシーバジェットで 78〜82% の精度を維持しましたが、DP なしの場合は 90% です。 DP の精度への影響はタスクやデータセットに大きく依存することに留意する必要があります。私たちの EMNIST 実験では、比較的小さなモデルを手書き文字に使用しており、ノイズの影響が過大でした。実際には、より豊富なデータセット上で訓練された大規模モデルは、DP ノイズをより滑らかに吸収します。 NIST SP 800-226 は、公開データで事前訓練された大規模モデルが DP-SGD で微調整される場合、強いプライバシーと有用性のトレードオフを示すと指摘しています。不正検出や臨床リスクスコアリングなどの多くの生産環境でのユースケースでは、上記のような攻撃に保護データを曝すという代替手段と比較して、 modest な精度の低下は許容できるコストです。 適切なプライバシーバジェットは最終的にアプリケーション依存となります：放射線画像をスクリーニングするモデルは、不審な取引をフラグ付けするモデルよりも精度低下を許容しにくいかもしれません。組織は特定のリスクと規制要件に応じて ε を調整すべきです。 これらの技術はすでに Amazon で使用されています。私たちは、プライバシー保護計算能力—組織境界を超えた連合学習のための差分プライバシー訓練パイプラインと安全な集約—を生産システムに構築しています。例えば、不正防止チームは顧客の金融データを保護しつつ検出精度を維持するために差分プライバシー訓練を使用しています。 あなたの組織が敏感なデータ上でモデルを訓練している場合、AWS のプライバシー保護 ML 機能を探求し、私たちのチームと連絡を取ることをお勧めします。

AI 学習データのプライバシー保護

背景や根拠まで確認しますか？

このニュースを、実務の判断につなげる

調べる

選ぶ

サイト