Google BigQueryが分散データ向けクロスリージョンSQLクエリをプレビュー

Google Cloud は最近、BigQuery のグローバルクエリ機能のプレビューを発表しました。この新オプションにより、開発者はデータを集約するためにまず移動またはコピーする必要なく、異なる地理的領域に保存されたデータ間で SQL クエリを実行できるようになります。 ETL パイプラインの必要性を排除し、グローバルクエリは各領域からの結果を自動的に取得して結合します。これにより、分散型データセットを持つ企業の分析が簡素化されながら、クエリの実行場所を制御することも可能になります。Google のプロダクトマネージャーである Wawrzek Hyska 氏とソフトウェアエンジニアの Oleh Khoma 氏は次のように述べています。 背景では、BigQuery がクエリを実行するために必要なデータ移動を自動的に処理し、多地点分析のためのシームレスでゼロ ETL のエクスペリエンスを提供します。BigQuery は異なる領域で実行する必要があるクエリの各部分を特定し、それに応じて実行します。次に、メインクエリが実行される際に、これらの部分クエリの結果が選択された場所へ転送されます（転送サイズの最小化を試みる最適化が行われます）。最後にすべての部分が結合され、全体としてクエリが結果を返します。 例えば、標準 SQL クエリを使用することで、開発者はヨーロッパとアジアからの取引データを、米国からの顧客データと組み合わせることができます。同様の結果は、SQL 文を実行する前に ETL パイプラインを使用してデータをコピーして集約することによって BigQuery で達成可能でしたが、エンジンは今や異なる領域のデータ間でクエリを実行できるようになり、データ分析がよりシンプルかつ高速になりました。 SET @@location = 'US'; WITH transactions AS ( SELECT customer_id, transaction_amount FROM `eu_transactions.sales_2024` UNION ALL SELECT customer_id, transaction_amount FROM `asia_transactions.sales_2024` ) SELECT c.customer_name, SUM(t.transaction_amount) AS total_sales FROM hq_customers.customer_list AS c LEFT JOIN transactions AS t ON c.id = t.customer_id GROUP BY c.customer_name ORDER BY total_sales DESC; グローバルクエリは、リージョン間でデータを転送する必要があるため、単一リージョンのクエリよりもレイテンシが高くなります。この新機能には追加のコストと課題が伴い、規制によってはデータが元の場所から流出することを禁止している場合さえあります。そのため、開発者は明示的にグローバルクエリを実行する場所を指定してオプトインする必要があります。この新機能により、データエンジニアはデータの処理場所を制御できるようになり、データレジデンシーやコンプライアンス要件に合致させることができます。 Hyska と Khoma は次のように述べています。 異なる点は、BigQuery が今や数千マイルも離れたデータセット間で実行するようになったことです。これにより、アーキテクチャが劇的に簡素化され、インサイトを得るまでの時間が短縮されます。 Google Cloud だけが、単一の SQL ステートメントで分散データを照会するオプションを提供しているわけではありません。例えば、AWS は Amazon Redshift に対してリージョン間データ共有を提供しており、Athena もリージョンを跨いでデータをクエリできますが、BigQuery のグローバルクエリが行うようなリージョン間の分散実行を自動的に調整することはありません。 グローバルクエリを有効にするには、クエリを実行するリージョンで enable_global_queries_execution を true に設定し、データが保存されているリージョンで enable_global_queries_data_access を true に設定して、プロジェクトまたは組織の設定を更新する必要があります。クエリは 1 つのプロジェクトで実行され、キャッシュを使用せずに他のプロジェクトのリージョンにあるデータにアクセスできます。 グローバルクエリのコストには、リモートリージョン内の各サブクエリの計算コスト（現地の価格に基づく）、クエリが実行されるリージョンでの最終クエリのコスト、データレプリケーション価格に基づいたリージョン間でのデータコピーのコスト、およびプライマリリージョンにコピーされたデータを 8 時間保存するコストが含まれます。 新機能は現在プレビュー中です。 About the Author Renato Losio Renato はクラウドアーキテクト、技術リーダー、クラウドサービススペシャリストとして豊富な経験を持っています。現在はベルリンに住み、リモートでシニアクラウドアーキテクトとして勤務しています。主な関心領域はクラウドサービスとリレーショナルデータベースです。彼は InfoQ の編集者であり、認定された AWS Data Hero です。LinkedIn で彼に連絡することができます。 Show more Show less

Google BigQueryが分散データ向けクロスリージョンSQLクエリをプレビュー

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト