Amazon SageMaker AI における EU AI 法対応のガイドライン

EU AI 法は、大規模言語モデル（LLM）のファインチューニングを行う組織に対し、浮動小数点演算数（FLOPs）で測定される計算リソースを追跡し、規制遵守義務を判断することを要求しています。顧客がドメイン固有の使用ケース向けに LLM のファインチューニングを日益増している中、「トレーニングジョブが新たな規制義務を発動させるかどうかをどうやって知ればよいのか」という共通の質問をよく耳にします。 [Amazon SageMaker AI](https://aws.amazon.com/sagemaker/ai/) は、モデルの構築、トレーニング、デプロイを行うマネージド型機械学習（ML）サービスです。このソリューションは、完全マネージドなインフラ上でファインチューニングワークロードを実行するために [Amazon SageMaker Training](https://aws.amazon.com/sagemaker/ai/train/) ジョブを利用します。SageMaker Training ジョブは、リソースのプロビジョニング、スケーリング、クラスター管理を担い、分散トレーニングのネイティブサポート、ガバナンスのための [AWS CloudTrail](https://aws.amazon.com/cloudtrail/) および [Amazon CloudWatch](https://aws.amazon.com/cloudwatch/) との統合、トレーニング完了後の計算リソースの自動廃止機能を備えています。Fine-Tuning FLOPs Meter は、既存の SageMaker AI パイプラインに組み込まれる目的特化型のコンプライアンス追跡機能により、これらの能力を拡張します。 本記事では、Amazon SageMaker AI 上でオープンソースの Fine-Tuning [FLOPs Meter ツールキット](https://github.com/aws-samples/amazon-sagemaker-generativeai/blob/main/0_model_customization_recipes/README.md) を使用して、大規模言語モデル（LLM）のファインチューニング中に FLOPs（1 秒あたりの浮動小数点演算回数）を追跡する方法をご紹介します。単一の設定フラグでコンプライアンスステータスを判定し、監査対応可能なドキュメントを生成する手順も解説します。 ## EU AI Act および FLOPs 追跡要件 2025 年 8 月 2 日、EU AI 法（欧州連合人工知能法）は、一般目的型人工知能（GPAI: General-Purpose Artificial Intelligence）モデルを扱う組織に対して [新たな要件](https://ec.europa.eu/newsroom/dae/redirection/document/118340) を導入しました。LLM のファインチューニングを行っている場合、その変更によって、既存のモデルを実質的な改変なしに使用する「下流ユーザー」から、モデルのコンプライアンスに対して法的責任を負う「GPAI モデルプロバイダー」へと再分類されるかどうかを判断する必要があります。この分類は、FLOPs（1 秒あたりの浮動小数点演算回数）で測定されたファインチューニングにおける計算リソースの使用量に依存します。 3 分の 1 ルールは、軽微な修正と大規模な再学習を区別するものです。この 30% の閾値の背後にある理由：規制分析では、元のトレーニング計算量の 3 分の 1 を超えて使用すると、モデルに著しい行動変化が生じ、実質的に異なるリスクを持つ新しいモデルが作成されるため、完全なプロバイダー義務の対象となると判断されています。ほとんどの組織は以下の表のシナリオ 2 を使用します。これは、モデルプロバイダーが正確なトレーニング FLOPs（浮動小数点演算数）を公開することが稀だからです。モデルプロバイダーから文書化された事前学習計算量が入手できない場合、デフォルト閾値である 3.3×10²² FLOPs が適用されます。考慮すべき適用可能なシナリオと閾値は以下の 3 つあります。 **シナリオ** **閾値** 事前学習計算量が既知で ≥ 10²³ FLOPs の場合 実際の事前学習計算量の 30% 事前学習計算量が不明な場合 デフォルト閾値の 3.3×10²² FLOPs システムリスクモデル（事前学習 FLOPs ≥ 10²⁵ FLOPs の場合） ベース計算量が不明な場合は 3.3×10²⁴ FLOPs Fine-Tuning FLOPs メーターは、PRETRAIN_FLOPS 環境変数を指定したかどうかに基づいて、どのシナリオが適用されるかを自動的に判断します。どの閾値パスが適用されるかを素早く特定するために、以下の意思決定フローを使用してください。 **ステップ 1：ベースモデルの事前学習 FLOPs をご存知ですか？** - いいえ：3.3×10²² FLOPs のデフォルト閾値に直接進んでください。 - はい：次の評価ステップへ進みます。 **ステップ 2: プリートレーニング計算規模の評価** プリートレーニングの計算量が既知の場合、以下の桁数と比較してください。 - プリートレーニング計算量は ≥ 10²⁵ FLOPs か？ はい：あなたはシステムリスク閾値に該当します。3.3×10²⁴ FLOPs の閾値を使用してください。 - いいえ：次の質問へ進みます。 - プリートレーニング計算量は ≥ 10²³ FLOPs か？ はい：実際のプリートレーニング計算量の 30% を相対閾値として使用してください。 - いいえ：3.3×10²² FLOPs のデフォルト閾値へ進んでください。 例えば、Llama-3-70B（推定最小 1.5×10²⁴ FLOPs でプリートレーニング済み）をファインチューニングする場合、閾値は 4.5×10²³ FLOPs となります。この閾値を超えると、一般目的人工知能（GPAI: General Purpose AI）モデルプロバイダーとしての完全な義務を負うことになります。これらの義務には、詳細なアーキテクチャおよびトレーニングプロセスの開示、使用したデータソースの公開リストの提供、EU 著作権法への準拠の実証が含まれます。これに違反した場合、1,500 ユーロまたはグローバル年間売上の 3% のいずれか高い方の金額までの罰金科される可能性があります。 ## 手動 FLOPs 追跡の課題 これらの閾値は、以下の 3 つのコンプライアンス課題を提示します。 - FLOPs（浮動小数点演算回数）の計算式は複雑であり、フルファインチューニングを行うか、パラメータ効率的な手法（Low-Rank Adaptation (LoRA) のようにモデルのパラメータのごく一部のみを更新するトレーニングアプローチなど）を使用するかによって異なります。 - 適用される閾値を決定するのは困難です。なぜなら、事前学習における計算リソースの数はほとんど公開されていないからです。 - 複数のトレーニングジョブにわたって監査証跡（規制レビューのためのコンプライアンス指標の恒久的な記録）を維持することは、運用上のオーバーヘッドを増加させます。 誤った計算は、あなたが下流ユーザーとして運営するか、それとも完全な GPAI モデルプロバイダーとして分類されるかを決定づけます。Fine-Tuning FLOPs Meter はこれらの課題に対処し、追跡プロセスを自動化します。 ## ソリューションの概要 Fine-Tuning FLOPs Meter は、[Amazon SageMaker Generative AI レシピリポジトリ](https://github.com/aws-samples/amazon-sagemaker-generativeai/tree/main/0_model_customization_recipes)で入手可能なオープンソースツールキットであり、Amazon SageMaker AI 上の [Hugging Face](https://huggingface.co/) トレーニングワークフローに統合されます。これはファインチューニングのライフサイクル全体にわたって計算リソースを追跡します。以下の図はコンプライアンスワークフローを示しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/30/ML-20303-image-1.png) 図 1. Fine-Tuning FLOPs Meter のコンプライアンスワークフロー このツールキットは、ファインチューニングのライフサイクルにおける3つの段階をカバーしており、その中核機能としてランタイム追跡が含まれています。 **第一段階:** オプションの事前トレーニング推定ユーティリティにより、ジョブを実行する前に、LoRA、Spectrum、フルといった各トレーニング手法間で予想されるFLOPs（浮動小数点演算数）を比較することができます。 **第二段階:** 本機能であるランタイム追跡では、Hugging Face の TrainerCallback を使用して、アーキテクチャベースの分析と NVIDIA Management Library (NVML) を通じたハードウェアベースの GPU モニタリングの両方を用いながら、トレーニング中に FLOPs をリアルタイムで計算します。 **第三段階:** トレーニング後の監査証跡が自動的に、完全なコンプライアンス指標を JSON 形式で保存します。結果は [Amazon Simple Storage Service (Amazon S3)](https://aws.amazon.com/pm/serv-s3/) または [Amazon DynamoDB](https://aws.amazon.com/dynamodb/) に永続化できます。 設定行に compute_flops: true を追加するだけで利用を開始できます。FLOPs メーターには、フル、LoRA、Spectrum の各ファインチューニング手法を正確に見積もるための改良された数式を用いたパラメータ効率性の認識機能が組み込まれています。これは EU AI 法（EU Artificial Intelligence Act）の報告に必要な項目を網羅した監査対応可能なコンプライアンス文書を生成し、適用される規制閾値を特定するのに役立つ自動的な閾値比較を実行して、ファインチューニングジョブがそれを超過しているかどうかをフラグ付けします。 ## 技術的実装 以下の各サブセクションでは、FLOPs の計算方法と、この追跡機能が Amazon SageMaker AI 上のトレーニングワークフローにどのように統合されるかについて解説します。 ## 前提条件 FLOPs メーターのウォークスルーを実行する前に、以下の前提条件を完了する必要があります： - SageMaker AI に対して、以下のクォータ増分リクエストを行ってください。このユースケースでは、最小限として ml.g5.4xlarge インスタンス（NVIDIA A10G GPU を 1 基搭載）が必要です。Service Quotas コンソールで、トレーニングジョブの使用目的に SageMaker AI の G5 インスタンス (ml.g5.4xlarge) のクォータをリクエストしてください：1 - 必要なアクセス権限を SageMaker AI に付与して例を実行できるようにするため、管理ポリシーとして AmazonSageMakerFullAccess と AmazonS3FullAccess を持つ AWS Identity and Access Management (IAM) ロールを作成してください。 - 以下のポリシーを IAM ロールの信頼関係として割り当ててください： { "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Principal": { "Service": [ "sagemaker.amazonaws.com" ] }, "Action": "sts:AssumeRole" } ] } - （オプション）前述のロールを使用して Jupyter ノートブックにアクセスできるようにするため、Amazon SageMaker Studio ドメインを作成してください（Amazon SageMaker AI のクイックセットアップに関するドキュメントを参照）。ローカル環境で JupyterLab を使用することも可能です。 これらの権限は広範なアクセス権を与えますが、本番環境での利用は推奨されません。より細粒度の権限を定義する方法については、[SageMaker AI 開発者ガイド](https://docs.aws.amazon.com/sagemaker/) を参照してください。 ## FLOPs 計算式 コンプライアンス報告には、主要指標として解析手法（Flops_architecture）を使用してください。本ツールキットは、保守的な報告のためにハードウェアベースの上限値も同時に算出します。両方の方法は自動的に実行されます。以下のセクションで実装の詳細を説明します。 EU AI Act のガイドライン（セクション A.2.1）では、トレーニング計算量の推定に関する 2 つのアプローチが記述されています： - アーキテクチャベースのアプローチ（解析的）： 密なトランスフォーマーに対する標準的な EU 式は以下の通りです。 C ≈ 6 × P × D ここで、P はパラメータ数、D はトレーニングトークン数を表します。これは全パラメータが学習可能である完全ファインチューニングを前提としています。 パラメータ効率化手法を考慮した拡張式は以下の通りです。 F_ft = (4 × N_total + 2 × N_trainable) × tokens_processed 内訳は以下の通りです： - 4 × N_total — 各層（凍結された層を含む）における順伝播（2 倍）と逆伝播の勾配計算（2 倍） - 2 × N_trainable — 学習可能な重みに関する勾配計算のみ 完全ファインチューニングでは N_total = N_trainable となるため、これは 6 × N × D に簡略化され、EU 式と等価になります。LoRA や Spectrum の場合、より少ないパラメータに勾配更新が行われることを反映し、より正確（かつ低い）な推定値を提供します。 - ハードウェアベースのアプローチ（上限値）： このアプローチでは以下の式を使用します。 C = N_gpus × L × H × U ここで、N_gpus は GPU の数、L は秒単位のトレーニング期間、H はピーク理論性能（FLOPs）、U は利用率を表します。FLOPs メーターは、NVML GPU モニタリングを通じて保守的な上限値を算出するために *U = 1.0*（100% 利用率）を使用します。 ## スレッショルドロジック このツールキットは、determine_compliance_threshold() 関数において EU AI Act のスレッショルドロジックを実装しています： EU_AI_ACT_GPAI_THRESHOLD = 1e23 # 10²³ FLOPs EU_AI_ACT_DEFAULT_THRESHOLD = 3.3e22 # 10²³の 3 分の 1 if pretrain_flops is None or pretrain_flops ## SageMaker トレーニングジョブとの統合 FLOPs メーターは、Hugging Face TrainerCallback として機能します。追跡を有効にするには、レシピ YAML に以下の一行を追加してください： compute_flops: true トレーニング起動時、トレーニングスクリプト（sft.py）はこのフラグを確認し、有効化されていれば、モデルのパラメータ数と任意の PRETRAIN_FLOPS 環境変数を指定して FlopsMeterCallback を初期化します。また、各トレーニングステップでパディングされていないトークンをカウントするために、カスタムの TokenCountingSFTTrainer が標準の SFTTrainer に置き換えられます。 n_total = sum(p.numel() for p in model.parameters()) n_trainable = sum(p.numel() for p in model.parameters() if p.requires_grad) flops_cb = FlopsMeterCallback( pad_token_id=tokenizer.pad_token_id, pretrain_flops=pretrain_flops, # from PRETRAIN_FLOPS env var sample_nvml=True, n_total=n_total, n_trainable=n_trainable, model_name=model_args.model_name_or_path, num_epochs=training_args.num_train_epochs, ) At training completion, the callback computes both analytical and hardware FLOPs, determines the applicable threshold, and writes a flops_meter.json file to /opt/ml/output/. The pipeline's ProcessTrainingOutputs step then uploads the results to Amazon S3 and persists them to Amazon DynamoDB for audit trail purposes. ## Walkthrough The following walkthrough uses **meta-llama/Llama-3.2-3B-Instruct** (3.21 billion parameters). Because Meta has not published exact pretraining FLOPs for this model, the default threshold path applies: 3.3×10²² as the compliance threshold. ## Pre-Training estimation (optional) A standalone estimation utility (estimate_flops.py) compares expected FLOPs across training methods (LoRA, Spectrum, and full fine-tuning) before you launch a job. This is useful for planning: it shows how close a given configuration comes to the compliance threshold, helping you make informed decisions about training method and dataset size. The estimation utility is separate from the core runtime tracking and you can run it independently in a notebook. ## ランタイム追跡 トレーニング中、FlopsMeterCallback は FLOPs をリアルタイムで追跡します。これが実際のコンプライアンス測定が行われる場所です。トレーニングが開始されると（on_train_begin）、このコールバックはモデルのパラメータ数（N_total, N_trainable）をキャプチャし、NVML GPU 監視スレッドを開始して、開始時刻のタイムスタンプを記録します。トレーニングが進むにつれて、非パディングトークンが各サブステップでバッチごとにカウントされ（on_substep_end）、分散トレーニングでは GPU 間で集約されます。トレーニングが完了すると（on_train_end）、コールバックは蓄積されたトークン数からアーキテクチャベースの FLOPs を計算し、ハードウェア上限値を算出するために NVML 監視を停止し、適用される閾値を決定して、完全なメトリクスを flops_meter.json に書き込みます。 LoRA と FLOPs 追跡を有効にした Llama-3.2-3B のレシピ設定: model_name_or_path: meta-llama/Llama-3.2-3B-Instruct dataset_id_or_path: your-dataset.jsonl use_peft: true compute_flops: true per_device_train_batch_size: 8 num_train_epochs: 10 learning_rate: 2e-5 peft_config: r: 8 lora_alpha: 16 target_modules: ["q_proj", "v_proj"] Amazon SageMaker AI のノートブックまたは Python スクリプトでは、SageMaker Python SDK v3 から ModelTrainer クラスを使用して、トレーニングジョブを SageMaker Training job として起動します: from sagemaker.modules.configs import Compute, SourceCode from sagemaker.modules.train import ModelTrainer training_instance_type = "ml.g5.4xlarge" pytorch_image_uri = sagemaker.image_uris.retrieve( framework="pytorch", region=sess.boto_session.region_name, version="2.7.1", instance_type=training_instance_type, image_scope="training", ) source_code = SourceCode( source_dir="./sagemaker_code", command="bash sm_accelerate_train.sh --config hf_recipes/meta-llama/Llama-3.2-3B-Instruct--vanilla-peft-qlora.yaml", ) compute = Compute( instance_type=training_instance_type, instance_count=1, volume_size_in_gb=300, ) model_trainer = ModelTrainer( training_image=pytorch_image_uri, source_code=source_code, compute=compute, role=role, environment={ "FLOPS_METER_NVML": "1", }, ) model_trainer.train() このモデルの事前学習における FLOPs（浮動小数点演算数）は不明であるため、PRETRAIN_FLOPS 環境変数は省略されています。デフォルトの閾値が自動的に適用されます。 ## コンプライアンス文書 トレーニング完了時に、コールバックにより n というメトリクスを含む flops_meter.json ファイルが生成されます。

Amazon SageMaker AI における EU AI 法対応のガイドライン

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト