#データレイクハウスのAIニュース

2件の記事

Spotify、データレイク上で低遅延ポイントクエリを可能にする外部インデックス構築

Spotify はデータレイクの Parquet ファイルに外部インデックス層を追加し、複製なしで個別レコードの低遅延取得を実現した。

PinterestはKafka、Flink、Spark、Icebergを使用した次世代CDCベースデータベース取り込みフレームワークを導入し、データ利用可能時間を24時間以上から15分に短縮し、変更レコードのみ処理、増分更新・削除をサポート、ペタバイトレベルのデータ処理を実現した。