製品向けオンデバイス言語モデルのためのプライベートトレーニングの進展

Google の研究科学者 Zheng Xu とソフトウェアエンジニア Yanxiang Zhang が投稿 ![image](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEifnCZ_XGUoUG0hESM0dF5B8Rsoqo4YrT_-uv0hlDM1iTADhtEEyEvBM4hOWT0rxgpVtZKyuFoj2xeXmkeXwGe-XTmvBuwBDJOCqgN8Ba7Wcjh_s1seWUaCRl1xNpNe_6MqxcFFZoAvhfCge5vq9UATjXG_BnTiGdQ6YLLo7AK7ABS3KLFMKmjAtA1gkcBk/s1600/GBoard%20PrivacyHero.gif) 入力テキストに基づいて与えられた単語を予測するように訓練された言語モデル（LM）は、多くのアプリケーションにおける中核技術です [[1](https://blog.google/technology/ai/google-palm-2-ai-large-language-model/), [2](https://blog.google/technology/ai/google-gemini-ai/)]。[Gboard](https://play.google.com/store/apps/details?id=com.google.android.inputmethod.latin&hl=en_US&gl=US) においては、言語モデルは [次単語予測](https://arxiv.org/abs/1811.03604)（NWP）、[スマートコンポーズ](https://support.google.com/gboard/answer/7068415)、[スマート補完](https://support.google.com/gboard/answer/7068415)、[提案機能](https://support.google.com/gboard/answer/7068415)、[スライド入力](https://support.google.com/gboard/answer/2811346)、および [校正](https://support.google.com/gboard/answer/7068415) といった機能をサポートすることで、ユーザーのタイピング体験を向上させるために活用されています。モデルを企業のサーバーではなくユーザーの端末にデプロイすることには、低遅延やモデル利用におけるプライバシー保護などの利点があります。ユーザーデータから直接オンデバイスモデルを訓練することは、NWP や [スマートテキスト選択](https://blog.research.google/2021/11/predicting-text-selections-with.html) といったアプリケーションの有用性パフォーマンスを効果的に向上させますが、モデル訓練におけるユーザーデータのプライバシー保護も重要です。 言語モデルによって駆動される Gboard の機能。 本ブログでは、2017 年に [連合学習](https://blog.research.google/2017/04/federated-learning-collaborative.html)（FL）の概念実証開発から始まり、2022 年に正式な [差分プライバシー](https://blog.research.google/2022/02/federated-learning-with-formal.html)（DP）保証が確立されて以来、長年の研究の進展がいかにして Gboard の言語モデルにおけるプライベートトレーニングを可能にしたかについて解説します。[FL](https://blog.research.google/2017/04/federated-learning-collaborative.html) は、すべてのトレーニングデータを端末上に保持したまま、モバイルフォンが協調してモデルを学習することを可能にし、[DP](https://en.wikipedia.org/wiki/Differential_privacy) はデータの匿名化に対する定量化可能な指標を提供します。形式的には、DP は通常 (*ε*, *δ*) で特徴づけられ、より小さな値がより強力な保証を表します。機械学習（ML）モデルは、*δ* が小さい場合、ε=10 に対して [合理的な DP 保証](https://blog.research.google/2023/05/making-ml-models-differentially-private.html) を持ち、ε=1 に対しては強力な DP 保証を持つとみなされます。 本日現在、Gboard のすべての NWP ニューラルネットワーク言語モデルは、形式的な差分プライバシー（DP）保証を備えた連合学習（FL）でトレーニングされており、ユーザーデータ上でトレーニングされた Gboard 言語モデルの今後のリリースにはすべて DP が必須となっています。これら 30 以上の Gboard オンデバイス言語モデルは、7 以上の言語と 15 カ国以上で展開されており、δが 10 のマイナス 10 乗という非常に小さな値であり、εが 0.994 から 13.69 の範囲にある (*ɛ*, *δ*)-DP 保証を満たしています。私たちの知る限り、これは Google 内あるいは世界中において、本番環境で展開されているユーザーレベルの差分プライバシー（DP）における最大規模の事例であり、εが ## Gboard におけるプライバシー原則と実践 「[Gboard におけるプライベート連合学習](https://arxiv.org/abs/2306.14793)」において、異なる [プライバシー原則](https://queue.acm.org/detail.cfm?id=3501293) がどのように現在の本番環境モデルに反映されているかについて議論しました。これには以下が含まれます: - 透明性とユーザー制御：使用されるデータ、その利用目的、各チャネルでの処理方法、および Gboard ユーザーが学習モデルにおけるデータ利用をどのように容易に設定できるかについて開示を行います。 - データ最小化：連合学習（FL）は、特定のモデルの改善に焦点を当てた更新のみを即座に集約します。安全な集約（SecAgg）は、一時的な更新の結果を集計したものしかアクセスできないことをさらに保証するための暗号化手法です。 - データ匿名化：DP は、モデルが個々のユーザーのトレーニングデータ内の固有情報を記憶することを防ぐためにサーバー側で適用されます。 - 監査可能性と検証可能性：主要なアルゴリズムアプローチおよびプライバシー会計（TFF アグリゲーター、TFP DPQuery、DP 会計、FL システム）をオープンソースコードとして公開しました。 近年、FL（Federated Learning）は、ユーザーデータから[Gboard on-device LMs](https://arxiv.org/abs/1811.03604) を訓練するためのデフォルト手法となっています。2020 年には、スペインでスペイン語 LM を訓練する際に、モデル更新に対して[クリップとノイズの付加](https://arxiv.org/abs/1710.06963)を行う DP（Differential Privacy：差分プライバシー）メカニズムが使用され、[記憶化の防止](https://arxiv.org/abs/2009.10031) が図られました。これは有限な DP 保証を満たしており、「How to DP-fy ML」ガイドに記載されている[Tier 3](https://blog.research.google/2023/05/making-ml-models-differentially-private.html) に該当します。 2022 年には、[DP-Follow-The-Regularized-Leader (DP-FTRL) アルゴリズム](https://arxiv.org/abs/2103.00039) の支援により、スペイン語 LM は、ユーザーデータ上で直接訓練された最初の生産用ニューラルネットワークとして、形式化された DP 保証（ε=8.9, δ=10-10)-DP）[https://blog.research.google/2022/02/federated-learning-with-formal.html] を伴って発表されました。これは報告されている*[ρ=0.81](https://blog.research.google/2022/02/federated-learning-with-formal.html)* [ゼロ集中差分プライバシー（Zero-Concentrated-Differential-Privacy）](https://arxiv.org/abs/1605.02065) と同等であり、したがって[妥当なプライバシー保証](https://blog.research.google/2023/05/making-ml-models-differentially-private.html)（[Tier 2](https://blog.research.google/2023/05/making-ml-models-differentially-private.html)）を満たしています。 ## フェデレーテッドラーニングにおけるデフォルトの差分プライバシー 「[Differential Privacy を用いた Gboard 言語モデルの連合学習](https://arxiv.org/abs/2305.18465)」において、Gboard のすべての NWP ニューラルネットワーク言語モデルに DP（差分プライバシー）の保証があり、ユーザーデータを用いて訓練された今後の Gboard モデルのリリースにも同様の DP 保証が必要であることを発表しました。FL（連合学習）における DP は、以下の実践を適用することで有効化されます： - 多言語 C4 データセットでモデルを事前訓練する。 - パブリックデータセットを用いたシミュレーション実験により、高い有用性を維持しつつ大きな DP ノイズ対信号比を実現できる値を見出す。1 ラウンドのモデル更新に貢献するクライアント数を増やすことで、ノイズ比を固定したままプライバシーを向上させることができる。これは DP の目標が達成されるか、システムおよび人口規模によって許容される最大値に至るまで有効である。 - FL システムにおける計算リソース予算と推定人口に基づき、各クライアントが貢献できる頻度を制限するパラメータを設定する（例：数日ごとに 1 回）。 - DP-FTRL 訓練を実行し、アダプティブクリッピングまたは経験に基づく固定値によって選択された、デバイスごとの更新の大きさに対する制限を設ける。 また、[スケールと感度に対する計算および通信の改善に関する進展](https://blog.research.google/2023/03/distributed-differential-privacy-for.html) を採用することで、SecAgg（安全な集約）を追加で適用することも可能です。 差分プライバシーおよび SecAgg を備えた連合学習。 ## DP 保証の報告 公開された Gboard NWP LM の DP（差分プライバシー）保証は、以下の棒グラフに視覚化されています。*x*-軸には言語と地域をラベル付けした LM が表示され、対応する人口集団で訓練されたモデルが並んでいます。*y*-軸は、[(ε, δ)-DP](https://www.iacr.org/archive/eurocrypt2006/40040493/40040493.pdf) において *δ* を小さな値である 10⁻¹⁰ に固定したときの *ε* 値を示しており、数値が小さいほど望ましいです。これらのモデルの有用性は、A/B テスト中のユーザーインタラクション指標に基づいて測定された結果、生産環境における以前の非ニューラルモデルよりも著しく優れているか、DP を適用しない以前の LM と同等であることが示されています。例えば、ベストプラクティスを適用することで、スペインにおけるスペイン語モデルの DP 保証は *[ε=8.9](https://blog.research.google/2022/02/federated-learning-with-formal.html)* から *ε*=5.37 に改善されました。また、スペインにおけるスペイン語モデルと米国における英語モデルの訓練には、SecAgg（安全な集約）が追加で利用されています。DP 保証の詳細については、[「How to DP-fy ML」](https://arxiv.org/abs/2303.00654) で概説された [ガイドライン](https://blog.research.google/2023/05/making-ml-models-differentially-private.html) に従い、[付録](https://arxiv.org/abs/2305.18465) に報告されています。 ## より強力な DP 保証に向けて 多くの公開された言語モデルの *ε*~10 の差分プライバシー（DP）保証は、実務における機械学習モデルにとってすでに[妥当](https://blog.research.google/2023/05/making-ml-models-differentially-private.html)と見なされていますが、Gboard における DP 連合学習（FL）の取り組みは、ユーザーの入力体験を向上させつつデータプライバシーを保護し続けるために継続中です。私たちは、ブラジルのポルトガル語およびラテンアメリカのスペイン語における生産環境向け言語モデルが、*ε* ≤ 1 の差分プライバシー保証をもって初めて訓練され、公開されたことを発表できることを嬉しく思います。これは[ティア 1 の強力なプライバシー保証](https://blog.research.google/2023/05/making-ml-models-differentially-private.html)を満たすものです。具体的には、高度な[行列分解 DP-FTRL](https://arxiv.org/abs/2306.08153)（MF-DP-FTRL）アルゴリズムを実行することで、(*ε*=0.994, *δ*=10⁻¹⁰)-DP 保証が達成されました。これは、サーバーモデルの更新における各トレーニングラウンドで 6,500 台以上のデバイスという[一般的な設定](https://arxiv.org/abs/2305.18465)よりも多い 12,000 台以上のデバイスが参加し、ブラジルの大規模なポルトガル語ユーザー層において、14 日間の合計 2,000 ラウンドのトレーニング中に各クライアントが最大 2 回しか参加できないよう慎重に設定されたポリシーを採用した結果です。同様の設定を用いて、es-US（米国スペイン語）言語モデルはラテンアメリカの複数の国をまたぐ大規模な人口集団で訓練され、(*ε*=0.994, *δ*=10⁻¹⁰)-DP を達成しました。*ε* ≤ 1 の es-US モデルは多くの国で有用性が大幅に向上し、コロンビア、エクアドル、グアテマラ、メキシコ、ベネズエラで公開されました。スペインのような小規模な人口集団においては、es-ES（スペインスペイン語）言語モデルの DP 保証が、参加デバイスの数を増やすことなく、[DP-FTRL](https://arxiv.org/abs/2103.00039) を [MF-DP-FTRL](https://arxiv.org/abs/2306.08153) に置き換えるだけで、*[ε=5.37](https://arxiv.org/abs/2305.18465)* から *ε*=3.42 へと改善されました。プライバシー会計に関するより詳細な技術情報は、[colab](https://colab.sandbox.google.com/github/google-research/federated/blob/master/mf_dpftrl_matrices/privacy_accounting.ipynb) で公開されています。 Gboard NWP LM における DP（差分プライバシー）保証について（紫色の棒グラフは ε=8.9 の最初の es-ES 版リリースを表し、シアン色の棒グラフは [MF-DP-FTRL](https://arxiv.org/abs/2306.08153) を用いて訓練されたモデルに対するプライバシー向上を示します。[tiers](https://blog.research.google/2023/05/making-ml-models-differentially-private.html) は「[How to DP-fy ML](https://arxiv.org/abs/2303.00654)」ガイドからのものです。en-US* および es-ES* はさらに SecAgg（安全な集約）を用いて訓練されています）。 ## 考察と今後のステップ 私たちの経験から、クライアント参加に関するシステムとアルゴリズムの共同設計を通じて DP を実用上達成でき、かつ人口規模が大きく多数のデバイスの寄与が集約される場合、プライバシーと有用性の両方を強く保つことが可能であることが示唆されます。プライバシー・有用性・計算コストのトレードオフは、[公開データの活用](https://arxiv.org/abs/2305.18465)、新しい [MF-DP-FTRL アルゴリズム](https://arxiv.org/abs/2306.08153)、および [集計精度の向上](https://github.com/google/differential-privacy) によって改善できます。これらの技術を用いれば、*ε* ≤ 1 という強力な DP 保証が可能ですが、依然として課題は残ります。実証的なプライバシー監査に関する活発な研究 [[1](https://arxiv.org/abs/2302.03098), [2](https://arxiv.org/abs/2305.08846)] は、DP モデルが最悪ケースの DP 保証が示唆するよりも潜在的によりプライバシー保護に優れている可能性を示しています。アルゴリズムの最先端を押し広げ続ける中で、プライバシー・有用性・計算コストのどの次元を優先すべきでしょうか？ 私たちは機械学習のすべてのプライバシー側面に取り組んでおり、DP-FTRL を [分散 DP](https://blog.research.google/2023/03/distributed-differential-privacy-for.html) に拡張し、[監査可能性と検証可能性](https://arxiv.org/abs/2306.14793) の向上を図っています。[信頼実行環境（Trusted Execution Environment）](https://en.wikipedia.org/wiki/Trusted_execution_environment) は、プライバシーを証明可能にしたままモデルサイズを大幅に拡大する機会を開きます。最近の [大規模言語モデル（LLMs）における画期的進展](https://blog.google/technology/ai/google-gemini-ai/) は、プライベートトレーニングにおける[公開情報](https://arxiv.org/abs/2212.06470) の利用や、LLM、オンデバイス LM、Gboard 生産環境間のより多くの将来の相互作用について[再考](https://arxiv.org/abs/2305.12132) を促しています。 ## 謝辞 *著者らは、本ブログ記事自体に対する初期フィードバックを提供してくれた Peter Kairouz、Brendan McMahan、Daniel Ramage に感謝します。また、アニメーション図の作成を支援してくれた Shaofeng Li と Tom Small、アルゴリズム設計、インフラ実装、生産環境の維持に貢献した Google の各チームにも謝意を表します。以下の協力者は、提示された結果に直接寄与しています：* *研究およびアルゴリズム開発：Galen Andrew、Stanislav Chiknavaryan、Christopher A. Choquette-Choo、Arun Ganesh、Peter Kairouz、Ryan McKenna、H. Brendan McMahan、Jesse Rosenstock、Timon Van Overveldt、Keith Rush、Shuang Song、Thomas Steinke、Abhradeep Guha Thakurta、Om Thakkar、Yuanbo Zhang。* インフラ、プロダクション、リーダーシップのサポート：Mingqing Chen, Stefan Dierauf, Billy Dou, Hubert Eichner, Zachary Garrett, Jeremy Gillula, Jianpeng Hou, Hui Li, Xu Liu, Wenzhi Mao, Brett McLarnon, Mengchen Pei, Daniel Ramage, Swaroop Ramaswamy, Haicheng Sun, Andreas Terzis, Yun Wang, Shanshan Wu, Yu Xiao, および Shumin Zhai。

製品向けオンデバイス言語モデルのためのプライベートトレーニングの進展

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト