Amazon Athena と Amazon QuickSight を活用した Amazon SageMaker 上のエージェント型 AI アナリティクスの実現

現代の企業は、ペタバイト規模に及ぶ構造化・非構造化データにまたがる膨大なデータレイクやデータハウスから実行可能なインサイトを抽出する上で、ますます深刻な課題に直面しています。従来の分析手法では、SQL、データモデリング、ビジネスインテリジェンスツールに関する専門的な技術的知識が必要とされ、小売、金融サービス、ヘルスケア、旅行・ホスピタリティ、製造業など多くの業界において意思決定を遅らせるボトルネックを生み出していました。本アーキテクチャは、[Amazon Quick](https://aws.amazon.com/quick/) のエージェント型 AI アシスタントが、データ分析をセルフサービス機能へと変革する方法を示しています。これは、直感的な自然言語インターフェースを通じて、ビジネスユーザーが複雑な構造化データセットを照会し、非構造化データと組み合わせることで、事業成果の向上に役立つ貴重なインサイトを発見できるようにする機能を備えています。 機能のデモンストレーションを行うために、TPC-H データセットを基盤としたレイクハウスを構築しました。この統合アーキテクチャは、ストレージとして [Amazon Simple Storage Service](https://aws.amazon.com/s3/) (Amazon S3) を活用し、レイクハウスには [Amazon SageMaker](https://aws.amazon.com/sagemaker/) と [AWS Glue](https://aws.amazon.com/sagemaker/catalog/) を使用します。また、[Amazon Athena](https://aws.amazon.com/athena/) を用いて、S3 テーブル、Iceberg、Parquet といった複数のストレージ形式にわたるサーバーレス SQL クエリを実行し、Quick の多様な機能を活用してダッシュボードを構築するとともに、データインサイトへの自然言語アクセスを提供する会話型 AI エージェントを実現しています。[Amazon Quick spaces](https://aws.amazon.com/quick/spaces/) を活用した統合ナレッジベースを通じて、本ソリューションは組織全体での現代的なデータ駆動型意思決定に必要なスケーラビリティを維持しつつ、エンタープライズグレードのセキュリティとガバナンスフレームワークを保証しながら、ビジネスユーザーによるレイクハウスデータのアクセスを民主化します。 ## ソリューション概要 以下の図は、本ブログ記事の一部として実装した全体の設計および対応するデータフローを示しています。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/Screenshot-2026-04-09-at-1.56.41 PM.png) 図 1: 全体の設計図 詳細なエンドツーエンドのデータフローおよびユーザーインタラクション機能については、以下の手順を参照してください。 - データソース取り込み：構造化データである TPC-H が主要なデータソースとなり、リレーショナルデータベース形式で保存されたベンチマークデータセットを含んでいます。AWS は、この TPC-H データを公開されている S3 バケット (s3://redshift-downloads/TPC-H/2.18/100GB) にホストしています。 - データロード：Amazon Athena が最初のクエリ層として機能し、サーバーレス SQL クエリを実行して TPC-H の構造化データからデータを抽出・準備し、S3 へのデータロードと Glue における対応するカタログの作成を行います。 - マルチフォーマットストレージ層：データレイクおよび Lakehouse の多様性を示すため、データを 3 つの最適化されたストレージ形式に保存しました。 Amazon S3 -CSV: 既存の CSV ファイルに基づいて外部テーブルを作成し、Athena テーブルを構築します。 - Amazon S3 (Apache Iceberg-parquet): 時間旅行機能とスキーマ進化を可能にする ACID 互換のテーブル形式です。 - Amazon S3 Table: Amazon S3 Tables は、組み込みの Apache Iceberg サポートを備えた初のクラウドオブジェクトストレージであり、大規模な表形式データの保存を簡素化します。 - メタデータカタログ：AWS Glue Catalog はこれら 3 つのストレージ形式すべてにインデックスを作成し、異なるデータフォーマット間でのシームレスなクエリを可能にする統合メタデータ層を構築しています。 - Lakehouse クエリ層：Glue Catalog のメタデータを活用して、Amazon Athena SQL クエリをストレージ形式 (S3 Table, Iceberg, Parquet) 全体にわたって実行し、統一されたクエリインターフェースを提供します。 - ビジネスインテリジェンスパイプライン：構造化された TPC-H データは Amazon Quick に流れ込み、Quick Sight と統合して以下を作成します。 データセット – Amazon Quick から Amazon Athena 接続を利用し、構造化データを抽出して Quick SPICE (Super-fast, Parallel, In-memory Calculation Engine) データセットにロードします。 - トピック – ビジネスコンテキストのための整理されたデータドメイン。 - Q を使用したダッシュボード – 自然言語クエリ機能によるインタラクティブな可視化でダッシュボードを構築し、公開します。 - AI 知識強化：構造化データのフローと並行して、TPC-H の仕様に関する Web クローラーが非構造化データ (ドキュメント、仕様書) を取り込み、Knowledge Bases に供給して文脈理解を提供します。 - 対話型エージェント AI レイヤー：Knowledge Bases が Amazon Quick Spaces(協働環境) を駆動し、それによって自然言語での対話を可能にする文脈認識とドメイン知識を備えた Amazon Quick チャットエージェントを実現します。 - エンドユーザーアクセス：ユーザーは主に 2 つのインターフェースを通じてシステムと対話します。 Q を使用したダッシュボード – ビジュアル分析およびセルフサービスビジネスインテリジェンス。 - チャットエージェント – 自然言語によるデータ探索のための対話型 AI。 ## 事前準備 始める前に、以下の前提条件を満たしていることを確認してください： - AWS アカウントと Amazon QuickSight アカウントの両方を持っていること - Amazon Simple Storage Service (Amazon S3)、Amazon SageMaker、AWS Lake Formation、および Amazon Athena に関する基本的な理解があること - S3 内のデータセット作成、Athena クエリの実行、Glue カタログの作成、Lake Formation の管理者権限、および QuickSight の機能へのアクセスを許可するコンソールロールを持っていること。関連するポリシー/ポリシーを決定するには、ポリシードキュメントを参照してください。 ## レイクハウス / データレイク向けのデータ準備 このセクションでは、**外部テーブル**を活用して、多くの**データレイク**機能を模倣します。これにより、管理されたストレージ層にデータをロードすることなく、Amazon S3 に保存されたデータを照会することが可能になります。**Apache Iceberg**を使用した**オープンテーブルフォーマット (OTF)** テーブルを探索し、サポートされる ACID トランザクションを持つテーブルの可能性を検討します。また、Amazon がネイティブで Iceberg 互換のテーブル管理を S3 内で直接サポートする方法を示すために、Amazon のマネージド**S3 Tables**を活用し、スケールしたレイクハウスアーキテクチャを簡素化する方法を探ります。これらの演習全体を通じて、業界標準の**TPC-H データセット**を使用します。これは、注文、顧客、ラインアイテムを含む現実的なビジネスデータモデルを表すベンチマークワークロードであり、例が意味があり再現可能であることを保証するためです。 データ準備には Amazon Athena を活用します。**Amazon Athena**を初めて使用する場合は、クエリ結果を保存するための**Amazon S3 バケット**を作成する必要があります。Athena では、クエリを実行する前に出力先として S3 を使用します。この一度きりのセットアップは、公式の AWS 入門ガイドに従って完了してください：[Amazon Athena の入門](https://docs.aws.amazon.com/athena/latest/ug/getting-started.html)。あるいは、[管理されたクエリ結果](https://docs.aws.amazon.com/athena/latest/ug/managed-results.html)機能を使用することもできます。 **ヒント:** クロスリージョン間のデータ転送コストとレイテンシを回避するため、S3 バケットはデータソースと同じ**AWS リージョン**に選択してください。 S3 の出力先が設定されれば、次の手順に進む準備が整います。 ## Glue データベースの作成 まず、Athena で使用するすべてのテーブルのメタデータカタログとして機能する Glue データベースを作成します。Athena クエリエディターで以下の SQL を実行してください： CREATE DATABASE IF NOT EXISTS blog_qs_athena_tpc_h_db_sql COMMENT 'TPC-H database'; ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-20574-image-2.png) Figure 2: Database creation blog_qs_athena_tpc_h_db_sql **この処理の内容:** これは、Athena がテーブルの整理と発見に使用する AWS Glue データカタログ内に論理データベースを登録するものです。後続の手順で作成されるテーブルは、すべてこのデータベースの下に配置されます。 ## S3 上の外部テーブルの作成 次に、パブリック S3 バケット（'s3://redshift-downloads/TPC-H/2.18/100GB/customer/'）に保存されている TPC-H の「customer」データセットを指す外部テーブルを作成します。Athena における外部テーブルはデータを移動またはコピーするものではなく、S3 から直接クエリを実行するため、生データを探索するための高速かつコスト効果の高い方法となります。 CREATE EXTERNAL TABLE IF NOT EXISTS blog_qs_athena_tpc_h_db_sql.customer_csv ( C_CUSTKEY INT, C_NAME STRING, C_ADDRESS STRING, C_NATIONKEY INT, C_PHONE STRING, C_ACCTBAL DOUBLE, C_MKTSEGMENT STRING, C_COMMENT STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION 's3://redshift-downloads/TPC-H/2.18/100GB/customer/' TBLPROPERTIES ('classification' = 'csv'); テーブルの検証として、数行をプレビューします: SELECT * FROM blog_qs_athena_tpc_h_db_sql.customer_csv LIMIT 10; ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-20574-image-3.png) 図 3: blog_qs_athena_tpc_h_db_sql.customer_csv の検証 ## Apache Iceberg テーブルの作成 次に、Apache Iceberg を用いてテーブルを模倣します。Apache Iceberg は ACID トランザクション、タイムトラベル（過去の状態へのアクセス）、パーティション進化といった機能をデータレイクに提供するオープンなテーブルフォーマットであり、本番環境向けのワークロードに理想的です。これは 3 つのステップからなるプロセスです。 **ステップ1：S3 バケットの作成** – SQL クエリを書く前に、ストレージ層を設定してください。[AWS Management Console または AWS CLI](https://docs.aws.amazon.com/AmazonS3/latest/userguide/creating-bucket.html) を使用して S3 バケットを作成できます。 **このブログでは、以下の S3 バケットを使用しています**: amzn-s3-demo-bucket **注意**: S3 バケット名はすべての AWS アカウント間でグローバルに一意である必要があるため、バケット名は異なります。 **ステップ2：注文用の外部 CSV テーブルの作成** – まず、生の注文データを元の形式（今回は CSV）で外部テーブルとして登録します。 CREATE EXTERNAL TABLE IF NOT EXISTS blog_qs_athena_tpc_h_db_sql.orders_csv ( O_ORDERKEY BIGINT, O_CUSTKEY BIGINT, O_ORDERSTATUS STRING, O_TOTALPRICE DOUBLE, O_ORDERDATE STRING, O_ORDERPRIORITY STRING, O_CLERK STRING, O_SHIPPRIORITY INT, O_COMMENT STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe' WITH SERDEPROPERTIES ('field.delim' = '|') LOCATION 's3://redshift-downloads/TPC-H/2.18/100GB/orders/' TBLPROPERTIES ('classification' = 'csv'); データセットを確認しましょう。 SELECT * FROM blog_qs_athena_tpc_h_db_sql.orders_csv LIMIT 10; ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-20574-image-4.png) 図 4: blog_qs_athena_tpc_h_db_sql.orders_csv の確認 **ステップ3: CREATE TABLE AS SELECT (CTAS) を使用して Iceberg テーブルを作成する** – **CREATE TABLE AS SELECT (CTAS)** を使用して、Parquet 形式の自己管理型 Iceberg テーブルを注文日付でパーティション分割して作成します。ここでは、O_ORDERDATE が '1998-06-01' と '1998-12-31' の間のサンプル日付範囲を読み込みます。 CREATE TABLE blog_qs_athena_tpc_h_db_sql.orders_iceberg WITH ( table_type = 'ICEBERG', format = 'PARQUET', is_external = false, partitioning = ARRAY['o_orderdate'], location = 's3://amzn-s3-demo-bucket/tpch_iceberg/orders/') AS SELECT * FROM blog_qs_athena_tpc_h_db_sql.orders_csv WHERE O_ORDERDATE BETWEEN '1998-06-01' AND '1998-12-31'; Iceberg テーブルのデータを検証します: SELECT * FROM blog_qs_athena_tpc_h_db_sql.orders_iceberg LIMIT 10; ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-20574-image-5.png) 図 5: blog_qs_athena_tpc_h_db_sql.orders_iceberg の検証 ## Amazon S3 テーブルの作成 Amazon S3 Tables は、組み込みの Apache Iceberg (アイスバーグ) サポートを備えた目的特化型の完全管理型テーブルです。圧縮、スナップショット管理、参照されていないファイルの削除などのメンテナンス操作を管理するオーバーヘッドなしに、高パフォーマンスなクエリ処理スループットを提供します。これは 3 つの手順で構成されます。 **ステップ1：S3 テーブルバケットとネームスペースの作成** – AWS コンソールで **S3 → Table Buckets** に移動し、バケット blog-qs-athena-tpc-h-db-sql-s3-table-mar-3 とネームスペースを作成します。または、AWS [CLI を使用したスクリプトによるセットアップ](https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3-tables-namespace-create.html) も利用可能です。 注：すでに S3 テーブルバケットとネームスペースが利用可能な場合は、これらの手順を無視してください。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-20574-image-6.png) 図 6：S3 テーブルバケット blog-qs-athena-tpc-h-db-sql-s3-table-mar-3 の作成 次に、blog-qs-athena-tpc-h-db-sql-s3-table-mar-3 をクリックして、上記の S3 テーブルバケットに関連付けられたネームスペース blog_qs_athena_tpc_h_namespace を作成します。 ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-20574-image-7.png) 図 7：S3 テーブルネームスペース blog_qs_athena_tpc_h_namespace の作成 **ステップ2：外部 CSV テーブルの作成（行項目用）** – Athena を使用して、TPC-H 行項目データセットを外部テーブルとして登録します： CREATE EXTERNAL TABLE IF NOT EXISTS blog_qs_athena_tpc_h_db_sql.lineitem_csv ( L_ORDERKEY BIGINT, L_PARTKEY BIGINT, L_SUPPKEY BIGINT, L_LINENUMBER INT, L_QUANTITY DECIMAL(15,2), L_EXTENDEDPRICE DECIMAL(15,2), L_DISCOUNT DECIMAL(15,2), L_TAX DECIMAL(15,2), L_RETURNFLAG STRING, L_LINESTATUS STRING, L_SHIPDATE STRING, L_COMMITDATE STRING, L_RECEIPTDATE STRING, L_SHIPINSTRUCT STRING, L_SHIPMODE STRING, L_COMMENT STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' STORED AS TEXTFILE LOCATION 's3://redshift-downloads/TPC-H/2.18/100GB/lineitem/' TBLPROPERTIES ('skip.header.line.count' = '0'); データのプレビュー: SELECT * FROM blog_qs_athena_tpc_h_db_sql.lineitem_csv LIMIT 10; ![image](https://d2908q01vomqb2.cloudfront.net/f1f836cb4ea6efb2a0b1b99f41ad8b103eff4b59/2026/04/09/ML-20574-image-8.png) 図 8: データ blog_qs_athena_tpc_h_db_sql.lineitem_csv の検証 **ステップ 3: CTAS を使用して S3 テーブルを作成する – **最後に、CTAS（Create Table As Select）を使用して、新しいカタログに Parquet 形式の S3 テーブルを作成します。初期データロードを制限するために、CAST(L_SHIPDATE AS DATE) BETWEEN DATE('1998-06-01') AND DATE('1998-12-31') を使用してサンプルの日付範囲でフィルタリングします。 注: 以下のスクリーンショットに示すように、[s3tablescatalog](https://docs.aws.amazon.com/lake-formation/latest/dg/create-s3-tables-catalog.html) を使用して、以下のクエリを実行してください。 CREATE TABLE lineitem_csv_s3_table WITH ( format = 'PARQUET') AS SELECT * FROM AwsDataCatalog.blog_qs_athena_tpc_h_db_sql.linei

Amazon Athena と Amazon QuickSight を活用した Amazon SageMaker 上のエージェント型 AI アナリティクスの実現

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト