Databricks、VLDB2026 で Lakehouse 技術と AI エンジンの革新を発表

私たちは、Databricks プラットフォームを支える複数の革新技術を共有するために VLDB 2026 に参加します。Databricks の共同創業者兼チーフアーキテクトである Reynold Xin が基調講演で会議を開幕します。Lakebase、Spark Structured Streaming（構造化ストリーミング）、および自動的な Lakehouse 最適化に関連する論文が 4 つ採択されています。また、Enzyme エンジンに関するデモ論文では、マテリアライズドビューの増分維持方法を紹介します。以下にこれらの発表のプレビューをまとめます。

基調講演：データベースエンジニアリングの3つの黄金時代

Databricks の共同創業者である Reynold Xin は、AI エージェントがデータベースエンジニアリングの「第 3 の黄金時代」を切り開くことについて議論します。2012 年初頭に Berkeley でスケーラブルな分析システム Shark を開発した当時の彼の取り組みを覚えている方もいるでしょう。Reynold は、Berkeley 時代から Lakehouse アーキテクチャの台頭、そしてトランザクション処理と分析エンジンへの新たな要求へと至るまで、自身のデータベース技術に対する見解がどのように進化してきたかを振り返ります。彼は、AI エージェントのニーズに応えるために役立つ2つの新しいパラダイムを紹介します。(1) OLTP データベースにストレージと計算のリソース分離を適用した「Lakebase」、(2) トランザクション処理と分析処理を統合した「LTAP（Lake Transactional Analytical Processing）」です。

Lakebase：オープンな Lake ストレージ上のサーバーレス Postgres

AI エージェントのワークロードは、数百万件の短命で分岐が深いデータベースといった独自の利用パターンを生み出しています。従来の OLTP エンジンはモノリス構造であり、こうした厳しい要件に応えることができません。

Stas Kelvich 氏は、第3世代クラウドデータベースアーキテクチャである Lakebase の概要を発表します。Lakebase は、サーバーレス PostgreSQL の計算リソースとストレージを分離し、データをオープンフォーマットのままクラウドオブジェクトストレージに直接永続化することで、エージェントワークロードの要件を満たします。

Lakebase はサブ秒単位のコールドスタートを実現するだけでなく、コピー・オン・ライト方式による分岐機能で Git に似たデータベースワークフローも提供します。さらに、計算とストレージを分離したアーキテクチャにより、生データに対する低遅延分析も可能にしています。図1は、Lakebase がクラウドデータベースの第3世代へと移行するきっかけとなっている様子を示しています。

*Figure 1: Lakebase Postgres はエージェント時代に適しており、オープンなデータレイクの上に構築されています。

Apache Spark Structured Streaming の10年：現実世界のニーズに応えるためのアーキテクチャ進化

Databricks では、構造化ストリーミング（Structured Streaming）が週に数百万件のジョブを支えています。このアーキテクチャはマイクロバッチ処理を採用しており、他の設計と比較してスケーラビリティ、耐障害性、そして正確な一度だけのセマンティクス（exactly-once semantics）という利点を備えています。

しかし、現実の顧客ニーズに応え、現在のスケールを実現するには、構造化ストリーミングには多くの新技術が必要でした。Siying Dong は、ストリーミングアーキテクチャが年々どのように進化してきたかを発表します。マイクロバッチパイプラインの改善によりスループットは最大 3 倍に向上し、新しいステートフル API の導入で複雑なビジネスロジックを簡単に記述できるようになりました。また、システムは今や細粒度アクセス制御にも対応しています。

AutoLiquid: Databricks Lakehouse 向けの自律的なデータレイアウト最適化

テーブルをキーでクラスタリングすると、クエリパフォーマンスが大幅に向上します。しかし、数百万ある Lakehouse テーブルの中から最適なクラスタリングキーを手動で選定するのは、スケーラビリティの観点から現実的ではありません。

Yunjia Zhang は、AutoLiquid が「CLUSTER BY AUTO」というシンプルなプリミティブを通じて、このライフサイクルをどのように自動化するかを説明します。AutoLiquid は、キー選択のためのヒューリスティックと効率的なシャドウ検証を組み合わせており、数百万のテーブルを自動的にクラスタリングできます。これらの技術により、評価されたワークロードの 95% 以上で、顧客が手動で選定したキーを上回るパフォーマンスを発揮します。

Ultron: Databricks における履歴ベースのクエリ最適化

データレイクハウスにおけるクエリの遅延は、オプティマイザがデータの状況をほぼ完璧に把握できれば大幅に短縮できます。これを実現するのが「Ultron」です。これは履歴に基づくクエリ最適化フレームワークで、分析ワークロードの反復性を活用して、ジョイン演算子の種類選択など、オプティマイザの判断を改善します。

Eric Liang 氏は、実行されたクエリのログを効率的に保存・管理する仕組みを含む Ultron のアーキテクチャについて解説します。Ultron は本番環境でのワークロードパフォーマンスを大幅に向上させ、ジョイン処理の中央値遅延を 25% 短縮することに成功しています。

上記 4 つの論文に加え、データエンジニアリング向けワークロードのための増分ビュー保守エンジン「Enzyme」を実演する Yuhong Chen 氏にも登壇していただきます。

エージェントネイティブなデータインフラ：LakehouseRT、Lakebase、LTAP（スポンサー講演）

Databricks は VLDB 2026 のゴールドスポンサーです。Ippokratis Pandis 氏が Databricks のスポンサー講演を行い、自律型・エージェント型のループに対応するためにシステムアーキテクチャをどう進化させているかを説明します。

その一環として「LakehouseRT」をご紹介します。LakehouseRT は新エンジン「Reyden」を搭載し、オープンなレイクストレージ上でリアルタイムかつ低遅延の分析を直接実行できるように設計されています。Lakebase と LakehouseRT を組み合わせることで、真の意味での「レイク・トランザクショナル・アナリティカル・プロセッシング（LTAP）」システムを実現する基盤が整います。

VLDB 2026 でチームに会いましょう

Databricks のブースでは、エンジニアリングチームや研究チームと直接つながり、発表論文について議論したり、採用担当者との面談を行ったりできます。