Amazon SageMaker AI と FHE を用いたエンドツーエンド暗号化 ML 推論の紹介

機械学習（ML）推論では、医療記録や機密性の高いビジネス情報、個人間の通信など、機微なデータを処理することがよくあります。もしクラウド上でデータ自体を隠蔽しながら ML 推論を実行できたらどうでしょうか？より具体的には、ML 推論プロセス全体を通じてデータが暗号化された状態のまま維持されるように強制できるならどうでしょうか？本記事では、完全同種暗号（FHE）を活用して Amazon SageMaker AI とともに ML 推論を行う方法をご紹介します。FHE を用いることで、クエリ、レスポンス、中間値のすべてを暗号化し、観測者（SageMaker AI 自身を含む）が読み取れないようにする ML 推論のアプローチを紹介します。 FHE は、復号することなく暗号化された形式のままデータを処理できる暗号方式の一つです。ML 推論の文脈では、これを応用して、モデルを暗号化されたクエリに適用し（復号せず）、暗号化された予測結果を生成することができます。このような機能が価値を発揮するシナリオとして、以下のようなものが考えられます： - ヘルスケア：ある健康保険会社が、診断データに基づいて医療処置の結果を予測する機械学習モデルを医師に提供したいと考えています。モデルをクラウド上に公開することでデプロイが簡素化されますが、プライバシー規制により、医師は患者の医療情報を第三者に開示できません。 - エネルギー分野：石油・ガス企業は、潜在的な掘削地点の衛星画像を評価し、さらに専門家の評価を行うべき画像を選択するために機械学習を利用しています。コスト削減のためにモデルをクラウド上にホストしたいと考えていますが、政治的に敏感な場所の写真を第三者に開示することはできません。 - 通信分野：ある通信事業者は、スパムやフィッシングを検出するために顧客のメールを処理したいと考えています。スケーラビリティのためにはクラウドベースの機械学習が必要ですが、データ保護規制により、顧客のメッセージは第三者においても暗号化されたまま維持されなければなりません。 本ブログでは以前、[Amazon SageMaker エンドポイントで完全準同型暗号を有効にして安全なリアルタイム推論を実現する](https://aws.amazon.com/blogs/machine-learning/enable-fully-homomorphic-encryption-with-amazon-sagemaker-endpoints-for-secure-real-time-inferencing/)という投稿で、機械学習推論における FHE（完全準同型暗号）について取り上げました。しかし、今回の投稿ではさらに一歩踏み込んでいます。以前の投稿では、[SEAL](https://www.microsoft.com/en-us/research/project/microsoft-seal/) という低レベルライブラリを使用して線形回帰アルゴリズムを手作業で設計することで、FHE ベースの推論を「ゼロから」実装する方法を示しました。一方、今回の投稿では、FHE による推論のために特別に構築された高レベルライブラリである [concrete-ml](https://docs.zama.org/concrete-ml) に基づく、はるかに柔軟でより高水準のアプローチを紹介しています。このライブラリは、一般的なモデルタイプを「そのまま」サポートしており、よく知られた機械学習ライブラリである scikit-learn と API 互換性さえ有しています。 本記事では、以下の内容について学びます: - カスタムコンテナを使用して SageMaker AI で concrete-ml モデルをトレーニングする - そのモデルを SageMaker AI 推論エンドポイントにデプロイする - concrete-ml 推論用のカスタムクライアントを作成する - そのクライアントを使用して推論エンドポイントへクエリを実行する 完了すると、SageMaker AI で concrete-ml を使用した、エンドツーエンドの暗号化された機械学習推論を行うように設計されたシステムが完成します。 ## ソリューション概要 SageMaker AI で concrete-ml を使用する仕組みは以下の通りです: - モデル所有者は、トレーニング用のデータを準備します。Concrete-ml は、すべての特徴量が [-1, 1] のように同じスケールに正規化されている場合にうまく機能します。 - モデル所有者は、このデータを使用して、FHE（同種暗号化）対応のモデルバージョンをトレーニングします。このモデルは、平文ではなく暗号化されたデータ上で計算を実行するように設計されています。 - モデル所有者はこのモデルを SageMaker AI にホストします。 - クライアントは、モデルがサポートする FHE スキームを使用してクエリを暗号化します。 - クライアントは、暗号化されたクエリをクラウド上の FHE 対応モデルに送信します。 - モデルは、FHE 計算中に値を復号化することなく、暗号化されたクエリを暗号化された予測に変換します。 - モデルは暗号化された応答をクライアントに戻し、クライアントはそれを復号化して予測を取得します。 これは、Amazon Web Services (AWS) の [Nitro System](https://aws.amazon.com/ec2/nitro/) を [Amazon Elastic Compute Cloud (Amazon EC2)](https://aws.amazon.com/ec2/) で提供する機密コンピューティング環境とは異なり、それを補完するものです。AWS Nitro Enclaves では、クエリは堅牢化され隔離された環境内で平文として復号化・処理されますが、この環境は CPU およびメモリの分離を提供します。一方、FHE を使用する場合、クエリは終始暗号化されたまま維持され、セキュリティはハードウェアやソフトウェアではなく数学に依存しています。 ## 前提条件 このソリューションを実装するには、以下のものが必要です： - Python 3.12 がインストールされたローカル開発環境、pip を使用したパッケージのインストール機能、および Docker または他のコンテナ構築ソフトウェアがローカルにインストールされていること。なお、本手順では仮想環境での作業を推奨しますが、これは必須ではありません。 - AWS アカウント（以下を含む）: トレーニング用および推論用コンテナのイメージを格納するための Amazon Elastic Container Registry (Amazon ECR) のリポジトリ、 - Amazon Simple Storage Service (Amazon S3) の場所（以下を格納するため）: モデル - トレーニングコード（モデルとは別のバケットに保存したい場合） - キーと暗号文 Amazon S3 の [セキュリティベストプラクティス](https://docs.aws.amazon.com/AmazonS3/latest/userguide/security-best-practices.html) を遵循することを推奨します。 - AWS Identity and Access Management (IAM) のロール（以下用）: モデル作成者 - 推論エンドポイント作成者 - 推論エンドポイント自体 - クライアント これらのロールに対する IAM ポリシーおよび [MNIST 手書き数字コーパス](https://www.kaggle.com/datasets/hojjatk/mnist-dataset) の実装例は、[サンプルコードのリポジトリ](https://github.com/aws-samples/sample-end-to-end-encrypted-ml-inference-with-amazon-sagemaker-ai-and-fhe/tree/main) で確認できます。 開始前に、執筆時点では concrete-ml は Zama から提供されており、[プロトタイピングまたは非商用利用](https://community.zama.org/t/about-the-zama-open-source-licenses/223) には有料ライセンスを必要としません。ただし、商用利用には [商用ライセンス](https://www.zama.org/post/open-source) が必要となる場合があります。 ## トレーニング ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/05/19/ML-18990-1.png) ## トレーニングコンテナの構築とデプロイ トレーニングコンテナを構築するには： - モデルトレーナーロールを想定します。 - ローカルで Dockerfile.training ファイルを作成します。 - 以下の内容を Dockerfile.training に追加します： FROM python:3.12 RUN apt-get update && apt-get upgrade -y && apt-get clean RUN apt-get -y install --no-install-recommends cmake RUN pip install sagemaker_training==5.1.1 concrete-ml==1.9.0 concrete-python==2.10.0 torch==2.3.1 システム全体でバージョン番号が一致していることを確認してください。concrete-ml ライブラリでは、Python、concrete-ml パッケージ、および concrete-python パッケージのシステム全体でバージョンの整合性が必須です。 - コンテナイメージを構築します： docker build -f ./Dockerfile.training - Amazon ECR にイメージプッシュします： Docker を Amazon ECR リジストリにログインさせる認証コマンドを実行します： aws ecr get-login-password --region | docker login --username AWS --password-stdin .dkr.ecr..amazonaws.com - リポジトリ名を使用してイメージにタグを付けます: docker tag * .dkr.ecr..amazonaws.com/:latest - タグ付けされたイメージをプッシュします: docker push .dkr.ecr..amazonaws.com/:latest ## コンテナが利用可能であることを確認する aws ecr describe-images --repository-name 画像に非空の imageDigest フィールドと latest タグが含まれた JSON 出力が表示されるはずです。 ## モデルのトレーニング モデルをトレーニングするには、以下の手順を実行してください。 注: これらのステップでは、concrete-ml は他の ML フレームワークと何ら変わりなく、トレーニングコンテナも他の [カスタムトレーニングコンテナ](https://docs.aws.amazon.com/sagemaker/latest/dg/adapt-training-container.html) と同様です。トレーニングは平文* データ上で行われる点にご注意ください。つまり、concrete-ml は正規化以外のデータ前処理を必要としません。ただし、通常のトレーニングで追加の前処理が必要な場合は、ここでもその前処理が必要となります（トレーニングジョブの前、または一部として行われなければなりません）。 ## トレーニングスクリプトの作成 - training_script.py という名前のファイルを作成します。 - 以下のテンプレートコードを training_script.py に追加します: ```python import argparse import os import numpy from concrete.ml.sklearn import from concrete.ml.deployment import FHEModelDev def do_training(model_dir, train): # train ディレクトリからデータをロードする # モデルインスタンスをトレーニングし、以下の行で保存する FHEModelDev(model_dir, model).save() ``` def model_fn(model_dir): # SageMaker AI はこの関数の存在を要求しますが、実際には使用しません raise NotImplementedError if __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument('--model-dir', type=str, default=os.environ['SM_MODEL_DIR']) parser.add_argument('--train', type=str, default=os.environ['SM_CHANNEL_TRAINING']) args = parser.parse_args() do_training(args.model_dir, args.train) - do_training 関数内でデータ読み込みロジックを実装してください。 - do_training 関数内でモデル学習ロジックを実装してください。 ## カスタムフレームワークの作成 利便性を考慮し、トレーニングコンテナを SageMaker AI に統合するために、独自の [framework](https://docs.aws.amazon.com/sagemaker/latest/dg/frameworks.html)（フレームワーク）を作成することを推奨します。その手順は以下の通りです： - framework.py という名前のファイルを作成してください。 - framework.py には以下の内容を追加してください： from sagemaker.estimator import Framework class Concrete(Framework): def __init__( self, entry_point, source_dir=None, hyperparameters=None, py_version="py312", framework_version="1.9.0", distributions=None, **kwargs, ): self.image_uri = super(Concrete, self).__init__( entry_point, source_dir, hyperparameters, image_uri=self.image_uri, **kwargs ) self.framework_version = framework_version self.py_version = py_version def training_image_uri(self, region=None): return self.image_uri def create_model( self, model_server_workers=None, role=None, vpc_config_override=None, entry_point=None, source_dir=None, dependencies=None, image_name=None, **kwargs, ): return None - 画像 URI の値を、ご自身の Amazon ECR（Elastic Container Registry）のトレーニングコンテナの場所と更新してください。 ## トレーニングジョブの実行 このセクションでは、Python スクリプトを使用してトレーニングジョブを実行する方法を示しますが、AWS コンソールまたは AWS Command Line Interface (AWS CLI) を使用して行うことも可能です。（注：トレーニングジョブは、インスタンスの種類と実行時間に基づいて課金されます。） - Python 3.12 のための仮想環境を作成してください。 - 仮想環境をアクティブ化してください。 - pip を使用して以下のパッケージをインストールしてください: boto3==1.37.38 sagemaker==2.243.2 - start_training.py という名前のファイルを作成してください。 - 以下の内容を start_training.py に追加してください: from sagemaker import session from framework import Concrete sagemaker_session = session.Session() concrete = Concrete( entry_point="training_script.py", instance_count=1, instance_type="ml.m5.xlarge", # Use ml.m5.xlarge for small models, ml.m5.4xlarge for larger models role="arn:aws:iam::123456789012:role/SageMakerModelTrainerRole", # Use the model-trainer role ARN from Prerequisites sagemaker_session=sagemaker_session, hyperparameters={}, output_path="s3://my-model-bucket/concrete-ml/models/", # Use the model bucket from Prerequisites code_location="s3://my-model-bucket/concrete-ml/scripts/", # S3 path for training script storage ) concrete.fit(inputs=) - Update the instance_type, role, output_path, code_location, and inputs values with your specific configuration. - Execute this file: python start_training.py - Verify that the training completed successfully by checking the training job status: aws sagemaker describe-training-job --training-job-name Look for TrainingJobStatus: Completed. Then verify that the output files exist: aws s3 ls s3://my-model-bucket/concrete-ml/models/ Confirm server.zip and client.zip are present. After training completes, the training container saves two files to the model bucket: server.zip (used by the inference endpoint) and client.zip (used by clients to encrypt queries). ## Inference ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/05/19/ML-18990-2.png) ## 推論コンテナの構築とデプロイ FHE（同種暗号化）に基づく機械学習推論は、いくつかの新しい技術的制約により、標準的な機械学習推論よりも複雑になります。 - クライアントは、暗号鍵を生成するために client.zip からモデル固有の情報が必要です。 - FHE 暗号文は SageMaker AI のクエリサイズ制限を超える可能性があるため、クライアントとサービスは SageMaker API 呼び出しの外で暗号文を通信する必要があります。 - FHE 評価には SageMaker AI のタイムアウトよりも長い時間がかかる可能性があり、そのため推論には非同期推論用の SageMaker メカニズムが使用されます。 - エンドポイントは FHE 評価を実行するために、クライアントから評価鍵（公開鍵の一種）を受け取る必要があります。 これらの新しい要件に対応し、ユーザー体験を合理化するため、以下のシステム構築方法をご紹介します。 - カスタムクライアントがクエリを暗号化し、評価鍵を付加する - カスタムトレーニングエンドポイントが必要に応じて client.zip を取得し、それを使用して FHE モデルを評価する - 同じカスタムクライアントがトレーニングエンドポイントからの予測結果を復号化する - クライアントとエンドポイントは Amazon S3 を使用して暗号文と鍵を互いに通信する このシステムを展開して利用するには、以下のセクションを完了してください。 ## プリディクタ（推論器）の作成 [predictor.py](https://github.com/aws-samples/sample-end-to-end-encrypted-ml-inference-with-amazon-sagemaker-ai-and-fhe/blob/main/inference/endpoint/container_files/predictor.py) という名前のファイルを作成し、以下の内容で記述します

Amazon SageMaker AI と FHE を用いたエンドツーエンド暗号化 ML 推論の紹介

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト