Amazon SageMaker Feature Store の新機能で ML 特徴パイプラインを加速

[Amazon SageMaker Feature Store](https://aws.amazon.com/sagemaker/ai/feature-store/) は、機械学習（ML）モデルの機能（features）を保存、共有、管理するために設計された完全マネージド型の専用リポジトリです。現在では、[Apache Iceberg テーブル形式](https://aws.amazon.com/blogs/machine-learning/speed-ml-development-using-sagemaker-feature-store-and-apache-iceberg-offline-store-compaction/)、ストリーミング取り込み（streaming ingestion）、スケーラブルなバッチ取り込み（scalable batch ingestion）、および AWS Lake Formation を介したきめ細かいアクセス制御（fine-grained access control）をサポートしています。 組織が機械学習プラットフォームを実験段階から本番運用へスケールする際、2 つの運用上の課題が常に浮上します。1 つ目は、新しい特徴量グループごとに手動オーバーヘッドを導入することなく、機密性のある特徴量データへのアクセスを確保することです。2 つ目は、高頻度のストリーミングワークロードによって Apache Iceberg メタデータの量が絶えず増加する中で、ストレージコストを予測可能に保つことです。例えば、ある小売分析チームは、Apache Iceberg ベースのオフラインストアが 1 年未満で 50 TB を超えるメタデータファイルを蓄積し、予想外かつ大幅な Amazon Simple Storage Service (Amazon S3) の利用料を発生させたことを発見しました。一方、業界全体のインフラストラクチャチームからは、特徴量グループ作成の時点で自動的に機能する Lake Formation によるアクセス制御が特徴量データに必要であり、反復的な手動設定を要する後付けの機能としてではなく、最初から組み込まれたものとして欲しいという声が寄せられています。 本日、これらの課題に対応するため、[SageMaker Python SDK v3.8.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v3.8.0) で利用可能になる 3 つの新機能を発表します。 - ネイティブ AWS Lake Formation 統合 – フィーチャーグループ作成時にオフラインストアを Lake Formation に登録するか、既存のフィーチャーグループに対して設定することで、列レベル、行レベル、セルレベルのアクセス制御を適用できます。手動での Lake Formation セットアップは不要です。 - Apache Iceberg テーブルプロパティの追加 – フィーチャーグループ作成時または既存のフィーチャーグループにおいて、メタデータの保持期間やスナップショットライフサイクルポリシーを制御し、メタデータの蓄積を防ぎ、ストレージコストを削減できます。 - SageMaker Python SDK v3 における Feature Store サポート – モダナイズされた SDK v3.8.0 は、これらの新機能を含む Feature Store の全機能を、モジュール化され、高速で軽量なパッケージとして提供します。 本記事では、各機能についてコード例を交えて解説し、すぐに着手できるように説明します。完全なエンドツーエンドのウォークスルーについては、SageMaker Python SDK リポジトリ内の [Lake Formation ガバナンス](https://github.com/aws/sagemaker-python-sdk/blob/master/v3-examples/ml-ops-examples/v3-feature-store-examples/lake-formation/v3-feature-store-lake-formation.ipynb) および [Iceberg テーブルプロパティ](https://github.com/aws/sagemaker-python-sdk/blob/master/v3-examples/ml-ops-examples/v3-feature-store-examples/iceberg-metadata-management/v3-feature-store-iceberg-properties-example.ipynb) に対応するノートブックをご覧ください。 ## 前提条件 本記事の例を追うためには、以下の準備が必要です： - Amazon SageMaker AI リソースを作成する権限を持つ AWS アカウント。 - Amazon S3、AWS Glue、および AWS Lake Formation にアクセスできる Amazon SageMaker AI 実行ロール。 - SageMaker Python SDK v3.8.0 以降。SageMaker をインストールするには、以下のコマンドを使用できます：pip install --upgrade "sagemaker>=3.8.0" - Lake Formation 統合の場合：アカウント内に少なくとも 1 つのデータレイク管理者が設定されている必要があります。Feature Store はアクセス制御を有効化する前にこれを検証します。 - オフラインストア用の既存の Amazon S3 バケット。 ## ソリューション概要 これらの機能は、SDK v3 の FeatureGroupManager.create() および FeatureGroupManager.update() コールにおける新しいパラメータを通じて提供されます。LakeFormationConfig は自動アクセス制御セットアップをトリガーし、IcebergProperties はメタデータのライフサイクルを設定します。これらは特徴グループ作成時に設定するか、既存の特徴グループに適用することができます。 ## SageMaker Python SDK v3 における Feature Store 2026 年 4 月 16 日にリリースされた [SageMaker Python SDK v3.8.0](https://github.com/aws/sagemaker-python-sdk/releases/tag/v3.8.0) は、本記事で説明する機能の基盤です。近代化された SDK はモジュラーアーキテクチャ、パフォーマンスの向上、および従来のハード依存関係（PyTorch など）の削除を導入しています。これらの変更により、インストールが高速化され、環境サイズが小さくなります。 SDK v3 で利用可能な Feature Store の機能は以下の通りです： - Feature group のライフサイクル管理：Feature group の作成、説明、更新、削除、および一覧表示。 - レコード操作：PutRecord、GetRecord、BatchGetRecord。 - 学習用データセットの抽出：学習用データセット構築のためのポイントインタイム整合性クエリ。 - DataFrame の取り込み：Pandas および Spark DataFrames からの FeatureGroupManager.ingest() メソッドの使用。 - 新しいオフラインストアのパラメータ：IcebergProperties と LakeFormationConfig は、作成および更新ワークフローで完全にサポートされています。 Feature Store API のインターフェースは SDK v2 と整合しているため、既存のコードは最小限の変更で動作します。SDK の他の領域における破壊的変更の詳細については、[SDK v3 チェンジログ](https://github.com/aws/sagemaker-python-sdk/releases/tag/v3.8.0) を参照してください。 ## SDK v3 によるクイックスタート 新しい Lake Formation および Iceberg パラメータを使用して Feature group を作成する方法は以下の通りです： fg = FeatureGroupManager.create( feature_group_name="my-features", record_identifier_feature_name="user_id", event_time_feature_name="event_time", feature_definitions=df, role_arn=role, online_store_config={"EnableOnlineStore": True}, offline_store_config=OfflineStoreConfig( s3_storage_config=S3StorageConfig(s3_uri=f"s3://{bucket}/feature-store/"), table_format="Iceberg", ), lake_formation_config=LakeFormationConfig( enabled=True, hybrid_access_mode_enabled=True, acknowledge_risk=True, ), iceberg_properties=IcebergProperties( properties={ "write.metadata.delete-after-commit.enabled": "true", "write.metadata.previous-versions-max": "10", } ), ) ## ネイティブの Lake Formation 統合機能を用いてオフラインストアをガバナンスする Feature Store データに対して [AWS Lake Formation](https://aws.amazon.com/lake-formation/) を設定するには、以前は [いくつかの手動手順](https://aws.amazon.com/blogs/machine-learning/control-access-to-amazon-sagemaker-feature-store-offline-using-aws-lake-formation/) が必要でした。具体的には、S3 ロケーションの登録、IAMAllowedPrincipals グループの取り消し、および各フィーチャーグループに対するデータフィルタの設定です。このプロセスは時間がかかり、エラーが発生しやすく、新しいフィーチャーグループごとに繰り返す必要がありました。列レベル、行レベル、セルレベルのアクセス制御を必要とする金融サービス、ヘルスケア、その他の規制産業に属する組織にとって、これは特に負担となるものでした。 現在では、FeatureGroupManager.create() に LakeFormationConfig を渡すことで、フィーチャーグループ作成時にオフラインストアに対して [Lake Formation アクセス制御](https://docs.aws.amazon.com/sagemaker/latest/dg/feature-store-lf-governance.html) を有効化できます。また、既存のフィーチャーグループに対しても FeatureGroupManager.enable_lake_formation() を使用して有効化することが可能です。この設定をオンにすると、Feature Store は自動的に以下の操作を代行して実行します： - Lake Formation に S3 データの場所を追加します。オフラインストア用の S3 プレフィックスは、Lake Formation によって管理されるデータレイクの場所として登録されます。その後、信頼された分析サービス（Amazon Athena, AWS Glue, Amazon EMR, Amazon Redshift Spectrum）が Lake Formation から一時的な認証情報を取得し、データを照会できるようになります。 - ハイブリッドアクセスモードを無効化します（オプション）。hybrid_access_mode_enabled=False を設定すると、SDK が AWS Glue テーブル上の IAMAllowedPrincipal 権限付与を取り消すため、アクセスは Lake Formation の権限モデルのみを経由する必要があります。一方、hybrid_access_mode_enabled=True とすると、AWS Identity and Access Management (IAM) ポリシーと Lake Formation の権限が併存し、段階的な移行に役立ちます。詳細については「ハイブリッドアクセスモード」を参照してください。 - 推奨される S3 拒否ポリシーを提供します。エンドツーエンドのガバナンスが必要な顧客向けに、SDK は有効化後に推奨バケットポリシーを警告メッセージとしてログ出力します。このポリシーを確認し、Amazon S3 バケットに適用して、権限のないプリンシパルによる直接 S3 リードをブロックしてください。これにより、Lake Formation を迂回する可能性のある最後の経路が閉ざされます。 これは**オプトイン型の機能グループごとの設定**です。これを省略した場合、動作は変更されず、既存の機能グループは IAM ベースのアクセスで引き続き動作します。 ## コード例 以下は、Lake Formation のアクセス制御を有効にした新しい特徴量グループを作成するコードです。追加の設定オプションについては、『[Feature Groups と Lake Formation の連携](https://docs.aws.amazon.com/sagemaker/latest/dg/feature-store-lf-governance.html)』をご参照ください。 fg = FeatureGroupManager.create( feature_group_name="governed-customer-features", record_identifier_feature_name="customer_id", event_time_feature_name="event_time", feature_definitions=customer_df, role_arn=role, online_store_config={"EnableOnlineStore": True}, offline_store_config=OfflineStoreConfig( s3_storage_config=S3StorageConfig(s3_uri=f"s3://{bucket}/feature-store/"), table_format="Iceberg", ), lake_formation_config=LakeFormationConfig( enabled=True, hybrid_access_mode_enabled=True, acknowledge_risk=True, ), ) 既存の特徴量グループで Lake Formation を有効にするには、以下のようにします。 fg = FeatureGroupManager.get( feature_group_name="existing-feature-group", ) fg.enable_lake_formation( hybrid_access_mode_enabled=True, acknowledge_risk=True, ) Feature group の設定完了後、Lake Formation コンソールまたは API を使用して、細粒度の権限を付与します。データサイエンスチームに対しては、customer_id、credit_score、region 列のみへの SELECT アクセス（列レベルでのフィルタリング）を付与できます。また、analyst に対しては region = 'us-east-1' の行に限定する（行レベルでのフィルタリング）、あるいは両方を組み合わせてセルレベルのアクセス制御を行うことも可能です。 ## 重要な考慮事項 **Online store への影響はありません。** Lake Formation のアクセス制御は Offline store のみに適用されます。Online store は引き続き IAM ベースの認可を使用するため、リアルタイム推論のレイテンシは変更されません。 **AWS Glue および Iceberg テーブル形式の両方に対応します。** Offline store に使用するテーブル形式がどちらであっても、Lake Formation のアクセス制御は同じように適用されます。 **クロスアカウント対応。** [AWS Resource Access Manager (AWS RAM)](https://docs.aws.amazon.com/ram/latest/userguide/what-is.html) を使用して Feature Store テーブルをアカウント間で共有している場合でも、Lake Formation による付与は既存のクロスアカウント共有パターンと併用して機能します。なお、テーブル形式が Iceberg の場合、クロスアクセスにはハイブリッドアクセスモードを無効化する必要があります。 **前提条件：データレイク管理者。** アクセストレーを有効化する前に、システムはアカウント内に少なくとも 1 つの [Data Lake Administrator](https://docs.aws.amazon.com/lake-formation/latest/dg/getting-started-setup.html#create-data-lake-admin) が設定されていることを検証します。存在しない場合、作成呼び出しは非同期で失敗するのではなく、即座に記述的なエラーを返します。 詳細については、[Feature Groups を使用した Lake Formation の有効化](https://docs.aws.amazon.com/sagemaker/latest/dg/feature-store-lf-governance.html) を参照してください。 ## Iceberg テーブルプロパティを追加してオフラインストアを管理する Amazon SageMaker Feature Store は、オフラインストアのテーブル形式として [Apache Iceberg](https://aws.amazon.com/blogs/machine-learning/speed-ml-development-using-sagemaker-feature-store-and-apache-iceberg-offline-store-compaction/) をサポートしており、コンパクション（圧縮）を通じてクエリパフォーマンスを向上させ、レコードレベルの操作をサポートしています。このセクションでは、Iceberg メタデータのライフサイクルを制御するための新しいパラメータをご紹介します。 高頻度書き込みを必要とするワークロード（数秒ごとにレコードを取り込むストリーミング特徴パイプラインなど）では、Iceberg メタデータファイルは各コミットごとに蓄積されます。ライフサイクル制御がない場合、このメタデータは指数関数的に増加する可能性があります。40 以上のストリーミング特徴グループを持つある顧客では、S3 バケットのサイズが数ギガバイトから 1 年未満で 50 TB を超えるメタデータへと膨れ上がりました。Feature Store はオフラインストアに対して高頻度（コミット間隔は 10 分未満）でコミットを行っており、各コミットで新しいメタデータファイルが生成されていました。スナップショット数やメタデータファイルの保持期間を制限する書き込みプロパティが事前に設定されていなかったため、メタデータは制御不能な状態で蓄積されました。彼らが Amazon Athena を通じて試みたクリーンアップ操作（OPTIMIZE および VACUUM）は、50 TB を超えるテーブルでタイムアウトしました。やむを得ず高コストの Amazon EMR Serverless Spark ジョブに頼り、最終的にはテーブルを完全に書き直す必要がありました。 ## 解決策 Iceberg フォーマットの特徴グループを作成する際に、IcebergProperties 設定を渡すことができるようになりました。これらのプロパティは基盤となる Iceberg テーブルに適用され、作成初日からメタデータライフサイクルの制御が可能になります。また、FeatureGroupManager.update() を使用して既存の特徴グループ上の Iceberg プロパティも更新できます。 サポートされているプロパティの例を以下に示します： Property | Default | Description ---|---|--- write.metadata.delete-after-commit.enabled | false | 各コミット後に追跡された最古のメタデータファイルを削除 write.metadata.previous-versions-max 100 追跡する以前のバージョンのメタデータファイルの最大数 history.expire.max-snapshot-age-ms 432000000 (5 days) 期限切れ処理中に保持するスナップショットの最大年齢 history.expire.min-snapshots-to-keep 1 期限切れ処理中に保持する最小のスナップショット数 write.target-file-size-bytes 536870912 (512 MB) 生成されるデータファイルの目標サイズ write.parquet.row-group-size-bytes 134217728 (128 MB) Parquet の行グループサイズ（Parquet row group size） read.split.target-size 134217728 (128 MB) データ入力スプリットを結合する際の目標サイズ 完全なサポート対象プロパティのリストについては、SageMaker AI ドキュメントの [Iceberg メタデータ管理](https://docs.aws.amazon.com/sagemaker/latest/dg/feature-store-iceberg-metadata-management.html) を参照してください。 ## コード例 fg = FeatureGroupManager.create( feature_group_name="streaming-click-features", record_identifier_feature_name="session_id", event_time_feature_name="event_time", feature_definitions=clicks_df, role_arn=role, offline_store_config=OfflineStoreConfig( s3_storage_config=S3StorageConfig(s3_uri=f"s3://{bucket}/feature-store/"), table_format="Iceberg", ), iceberg_properties=IcebergProperties( properties={ "write.metadata.delete-after-commit.enabled": "true", "write.metadata.previous-versions-max": "10", "history.expire.max-snapshot-age-ms": "86400000", "history.expire.min-snapshot

Amazon SageMaker Feature Store の新機能で ML 特徴パイプラインを加速

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト