SageMaker Unified StudioとS3を用いた非構造化データによるLLMファインチューニングの加速

昨年、Amazon SageMaker Unified Studio と Amazon S3 の汎用バケット間の統合を[AWS が発表しました](https://aws.amazon.com/blogs/aws/streamline-the-path-from-data-to-insights-with-new-amazon-sagemaker-capabilities/)。この統合により、チームは Amazon Simple Storage Service (Amazon S3) に保存された構造化されていないデータを、機械学習 (ML) およびデータ分析ユースケースで容易に利用できるようになりました。 本記事では、Amazon SageMaker Unified Studio を用いて、Llama 3.2 11B Vision Instruct を視覚的質問応答 (VQA) のためにファインチューニングする際、S3 汎用バケットを Amazon SageMaker Catalog と統合する方法を示します。このタスクでは、入力画像と質問を大規模言語モデル (LLM: Large Language Model) に与え、回答を取得します。例えば、明細書から取引日付を特定するように問いかける場合: ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/20/ML-19677-image-1.png) このデモンストレーションでは、[Amazon SageMaker JumpStart](https://aws.amazon.com/sagemaker/ai/jumpstart/) を使用して、Llama 3.2 11B Vision Instruct モデルにアクセスします。このベースモデルは、そのままの状態で [DocVQA](https://huggingface.co/datasets/HuggingFaceM4/DocumentVQA) データセットにおいて、平均正規化レベンシュタイン類似度 [(ANLS)](https://docsaid.org/en/blog/impl-normalized-levenshtein-similarity/) スコア 85.3% を達成します。ANLS は、モデルの視覚的質問応答タスクにおける性能を評価するために使用される指標であり、モデルが予測した回答と正解（グランドトゥルース）との類似度を測定するものです。85.3% という数値は強力なベースライン性能を示していますが、より高い精度と厳密さが求められるタスクにおいては、このレベルが最も効率的であるとは限りません。 モデルの性能をファインチューニングによって向上させるため、[Hugging Face の DocVQA データセット](https://huggingface.co/datasets/HuggingFaceM4/DocumentVQA) を使用します。このデータセットには 39,500 行のトレーニングデータが含まれており、それぞれに入力画像、質問、および対応する期待される回答が用意されています。ここでは、異なるデータセットサイズ（1,000 枚、5,000 枚、10,000 枚）を用いて、3 つのファインチューニング済みモデルバージョンを作成します。その後、[Amazon SageMaker の完全管理型サーバーレス MLflow](https://aws.amazon.com/about-aws/whats-new/2025/12/sagemaker-ai-serverless-mlflow-ai-development/) を使用して実験を追跡し、精度の向上を測定します。 完全なエンドツーエンドのデータ取り込み、モデル開発、およびメトリクス評価のプロセスは、Amazon SageMaker Unified Studio を用いてオーケストレーションされます。以下に、本シナリオで順を追って説明する高レベルなプロセスフロー図を示します。このブログ記事全体を通じて、この内容について詳しく解説していきます。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/20/ML-19677-image-3.png) このプロセスフローを実現するために、Amazon SageMaker Unified Studio を用いてデータ取り込み、データ前処理、モデルトレーニング、および評価を行うアーキテクチャを構築します。各ステップについては、以下のセクションで詳しく説明します。 本演習全体で使用し参照される Jupyter ノートブックは、[この GitHub リポジトリ](https://github.com/aws-samples/sample-finetuning-sagemaker-unified-studio-with-s3) で確認できます。 ## 前提条件 組織が Amazon SageMaker Unified Studio と Amazon S3 汎用バケット間の新しい統合を利用できるように準備するためには、以下の前提条件を完了する必要があります。なお、これらの手順は [Identity Center ベースのドメイン](https://docs.aws.amazon.com/sagemaker-unified-studio/latest/adminguide/working-with-domains.html) 上で行われます。 - AWS アカウントを作成します。 - クイックセットアップを使用して、Amazon SageMaker Unified Studio ドメインを作成します。 - この投稿で示すシナリオをモデル化するために、SageMaker Unified Studio ドメイン内に 2 つのプロジェクトを作成します。1 つはデータプロデューサーのペルソナ用、もう 1 つはデータコンシューマーのペルソナ用です。最初のプロジェクトでは、Amazon S3 バケット内のデータセットを発見してカタログ化します。2 つ目のプロジェクトでは、そのデータセットを消費して、大規模言語モデル（LLM: Large Language Model）の 3 つの反復版をファインチューニングします。詳細については「プロジェクトの作成」をご覧ください。 - データコンシューマーのプロジェクトには、実験および評価に使用される実行中の SageMaker マネージド MLflow サーバーレスアプリケーションへのアクセス権限が必要です。詳細については、サーバーレス MLflow アプリケーションの作成に関する手順をご覧ください。 - 機械学習開発ユースケースで使用する生データセットを事前に格納した Amazon S3 バケットを用意する必要があります。このブログ投稿では、視覚的質問応答（VQA: Visual Question Answering）ユースケースをファインチューニングするために、Hugging Face の DocVQA データセットを使用します。 - 学習ジョブに p4de.24xlarge コンピューティングリソースを使用するためのサービスクォータ増量リクエストが必要です。詳細については「クォータの増量をリクエストする」をご覧ください。 ## アーキテクチャ 本投稿全体で構築する参照アーキテクチャは以下の通りです: ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/20/ML-19677-image-4.png) アーキテクチャ図は、以下のセクションで順次確認していく6 つの高レベルステップに分割できます。 まず、生データかつ非構造化の DocVQA データセットを格納した既存の Amazon S3 バケットに対して読み取り権限を付与する IAM アクセスロールを作成して設定します。 データプロデューサープロジェクトは、このアクセスロールを使用してデータセットを検索し、プロジェクトカタログに追加します。 データプロデューサープロジェクトは、オプションのメタデータを付加してデータセットを拡張し、SageMaker Catalog へ公開します。 データコンシューマープロジェクトは、公開されたデータセットを購読し、機械学習モデルの開発（またはファインチューニング）を担当するプロジェクトチームが利用可能にします。 データコンシューマープロジェクトはデータを前処理し、異なるサイズ（1k、5k、10k 枚の画像）の3 つのトレーニングデータセットに変換します。各データセットは、ベースとなる大規模言語モデルをファインチューニングするために使用されます。 MLflow を用いて、3 つのモデルの平均正規化レベンシュタイン類似度（ANLS）という成功指標に対する実験および評価結果を追跡・管理します。 ## ソリューションのウォークスルー 前述した通り、視覚的質問応答タスクには Hugging Face の DocVQA データセットを使用することを選択します。組織のシナリオでは、この生データセットは ML ユースケースに関連するあらゆる非構造化データとなり得ます。例としては、カスタマーサポートのチャットログ、社内文書、製品レビュー、法的契約書、研究論文、ソーシャルメディア投稿、メールアーカイブ、センサーデータ、金融取引記録などが挙げられます。 [Jupyter notebook](https://github.com/aws-samples/sample-finetuning-sagemaker-unified-studio-with-s3) の前提条件セクションでは、Hugging Face の [Datasets API](https://huggingface.co/docs/datasets/en/index) を使用して Amazon S3 バケットに事前にデータを格納しています: import os from datasets import load_dataset # データディレクトリの作成 os.makedirs("data", exist_ok=True) # 学習用スプリット（最初の 10,000 行）の読み込みと保存 train_data = load_dataset("HuggingFaceM4/DocumentVQA", split="train[:10000]", cache_dir="./data") train_data.save_to_disk("data/train") # 検証用スプリット（最初の 100 行）の読み込みと保存 val_data = load_dataset("HuggingFaceM4/DocumentVQA", split="validation[:100]", cache_dir="./data") val_data.save_to_disk("data/validation") データセットを取得した後、前提条件としてこれを Amazon S3 バケットに同期します。これは、前述のアーキテクチャ図の右下セクションに示されているバケットを表しています。 ここで、Amazon SageMaker Unified Studio でデータを取り扱い始める準備が整いました。まずはデータプロデューサープロジェクトから始めます。Amazon SageMaker Unified Studio におけるプロジェクトとは、特定のドメイン内にある境界線であり、そこでビジネスユースケースについて他者と協力して作業を行うことができます。Amazon S3 のデータをプロジェクトに持ち込むには、まずデータの [アクセス](https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/adding-existing-s3-data.html) を追加し、その後データをプロジェクトに追加する必要があります。本稿では、このプロセスを円滑に進めるためにアクセスロールを使用するアプローチを採用します。*詳細は *[Amazon S3 データの追加](https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/adding-existing-s3-data.html#adding-existing-s3-connect)* をご覧ください。* 先に参照したドキュメントの手順に従ってアクセスロールを作成した後、データセットの発見とカタログ化を進めることができます。データプロデューサープロジェクトでは、「Data」→「Add data」→「Add S3 location」へ移動します： ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/20/ML-19677-image-6.png) 生のデータを含む Amazon S3 バケットの名前と対応するプレフィックスを入力し、事前に作成した必須のアクセスロールが含まれたアクセスロールドロップダウンリストが表示されている点に注意してください： ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/25/ML-19677-image-9-1.jpeg) 追加後、以下の画像に示す通り、プロジェクトカタログに新しい Amazon S3 バケットが表示されるようになりました。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/25/ML-19677-image-11-1.jpeg) データプロデューサーの視点から見ると、データセットはすでにプロジェクトコンテキスト内で利用可能になっています。組織や要件によっては、このデータ資産をさらに充実させる必要があるかもしれません。例えば、追加のデータソースと結合したり、ビジネス固有の変換を適用したり、データ品質チェックを実装したり、特徴量エンジニアリングパイプラインを通じて派生特徴量を作成したりすることが可能です。しかし、本稿の目的上、Amazon S3 の汎用バケットと Amazon SageMaker Unified Studio（以下、SageMaker Unified Studio）との統合という核心ポイントに焦点を当てるため、データセットは現在の形式のまま使用します。 これで、このバケットを SageMaker Catalog に公開する準備が整いました。README ファイル、用語集の用語、その他のデータタイプなどの [オプションのビジネスメタデータ](https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/create-metadata-form.html) を追加できます（注：SageMaker Unified Studio のユーザーガイドでは「create-metadata-form」として記載されています）。ここでは簡潔にするため、シンプルな README だけを追加し、他のメタデータフィールドはスキップします。その後、「Actions」メニューから **Publish to Catalog**（カタログへの公開）を選択して公開処理を続行します。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/25/ML-19677-image-13-1.jpeg) 至此、データアセットを SageMaker Catalog に追加し、ドメイン内の他のプロジェクトから利用可能な状態になりました。次に、データ利用者ペルソンの視点に切り替え、利用者プロジェクトを選択すると、新しく公開されたデータアセットを購読できるようになります。詳細については、[Amazon SageMaker Unified Studio でのデータプロダクトの購読](https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/subscribe-data-product.html)をご参照ください。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/25/ML-19677-image-15-1.jpeg) これで、機械学習（ML）モデルを構築する利用者プロジェクト内でデータアセットの購読が完了しました。これにより、Amazon SageMaker Unified Studio 内の管理された JupyterLab IDE でデータの利用を開始できます。Amazon SageMaker Unified Studio の JupyterLab ページは、プロジェクト内でのデータ統合、分析、または機械学習の実行時に使用できる、JupyterLab インタラクティブ開発環境（IDE）を提供します。 ML 開発プロジェクトでは、**Compute** → **Spaces** → **Create space** オプションに移動し、**Application** (スペースタイプ) メニューで **JupyterLab** を選択して、新しい JupyterLab IDE を起動してください。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/20/ML-19677-image-16.png) 例のノートブックにある一部のモデルは、ml.p4de.24xlarge インスタンスタイプを使用してトレーニングすると 4 時間以上かかる場合があります。そのため、エラーを回避し、ノートブックが完了するまで実行できるようにするために、**アイドル時間**を 6 時間に設定することを推奨します。また、初めてノートブックを最初から最後まで実行する場合は、データセットを微調整プロセス中に完全に取り込むことができるように、スペースのストレージを 100 GB に設定してください。詳細は *[新しいスペースの作成](https://docs.aws.amazon.com/sagemaker-unified-studio/latest/userguide/create-space.html)* をご覧ください。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/20/ML-19677-image-18.png) スペースが作成され、実行されている状態になったら、**開く**ボタンを選択して JupyterLab IDE を起動します。読み込み後、**ファイルのアップロード**機能を使用して、サンプルの Jupyter ノートブックをスペースにアップロードします。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/03/20/ML-19677-image-20.png) これで ML 開発プロジェクトで公開されたデータセットを購読したので、モデル開発ワークフローを開始できます。これには、[Amazon S3 アクセスグラント](https://aws.amazon.com/s3/features/access-grants/)を使用してバケットからデータセットを取得し、微調整用に準備し、モデルをトレーニングするという 3 つの主要なステップが含まれます。 受給者は、AWS コマンドラインインターフェース（AWS CLI）、AWS SDK、および Amazon S3 REST API を使用して Amazon S3 データにアクセスできます。さらに、Amazon S3 Access Grants を呼び出すために、AWS の [Python](https://github.com/aws/boto3-s3-access-grants-plugin) および [Java](https://github.com/aws/aws-s3-accessgrants-plugin-java-v2) プラグインを使用することも可能です。簡潔さのため、ノートブックおよび以下のコードでは AWS CLI 方式を採用します。また、参考のためにノートブックの付録セクションに、Python の [boto3-s3-access-grants-plugin](https://github.com/aws/boto3-s3-access-grants-plugin) を使用したサンプルも記載しています。 このプロセスには 2 つのステップが含まれます：まず s3control CLI モジュールを通じて Amazon S3 コントロールプレーンへの一時的なアクセス認証情報を取得し、次にその認証情報を使用してデータをローカルに同期します。データセットを格納している適切なアカウント ID に合わせて、**AWS_ACCOUNT_ID **変数を更新してください。 import json AWS_ACCOUNT_ID = "123456789" # REPLACE THIS WITH YOUR ACCOUNT ID S3_BUCKET_NAME = "s3://MY_BUCKET_NAME/" # REPLACE THIS WITH YOUR BUCKET # Get credentials result = !aws s3control get-data-access --account-id {AWS_ACCOUNT_ID} --target {S3_BUCKET_NAME} --permission READ json_response = json.loads(result.s) creds = json_response['Credentials'] # セルマジックを使用してプロファイルを構成する !aws configure set aws_access_key_id {creds['AccessKeyId']} --profile access-grants-consumer-access-profile !aws configure set aws_secret_access_key {creds['SecretAccessKey']} --profile access-grants-consumer-access-profile !aws configure set aws_session_token {creds['SessionToken']} --profile access-grants-consumer-access-profile print("Profile configured successfully!") !aws s3 sync {S3_BUCKET_NAME} ./ --profile access-grants-consumer-access-profile 上記のコードを実行して成功した出力が得られた後、ローカル環境で S3 バケットにアクセスできるようになります。生のデータセットがローカルで利用可能になったことで、LLM（大規模言語モデル）をファインチューニングするために必要な形式に変換する必要があります。データセットサイズがモデルのパフォーマンスにどのように影響するかを評価するため、異なるサイズの 3 つのデータセット（1,000 枚、5,000 枚、10,000 枚の画像）を作成します。 各トレーニングデータセットには、train ディレクトリと validation ディレクトリが含まれており、それぞれに images サブディレクトリと、トレーニング例を含む metadata.jsonl ファイルを併せて含める必要があります。メタデータファイルの形式は、1 行あたり 3 つのキー/バリューフィールドを含みます: {"file_name": "images/img_0.jpg", "prompt": "what is the date mentioned in this letter?", "completion": "1/8/93"} {"file_name": "images/img_1.jpg", "prompt": "what is the contact person name mentioned in letter?", "completion": "P. Carter"} これらのアーティファクトをAmazon S3にアップロードした後、SageMaker JumpStartを使用して事前学習済みLlama 3.2 11B Vision Instructモデル（英語：pre-trained Llama 3.2 11B Vision Instruct model）にアクセスし、LLMのファインチューニングを行うことができます。評価のために3つの別々のファインチューンされたバリエーションを作成します。異なるデータセットサイズに対して再利用可能にするため、パラメータ化アプローチを用いてtrain()関数を作成しました： def train(name, instance_type, training_data_path, experiment_name, run): ... estimator = JumpStartEstimator( model_id=model_id, model_version=model_version, environment={"accept_eula": "true"}, # Must accept as true disable_o

SageMaker Unified StudioとS3を用いた非構造化データによるLLMファインチューニングの加速

背景や根拠まで確認しますか？

調べる

選ぶ

サイト