UberがIngestionNextを発表：ストリーミング優先のデータレイクで遅延と計算量を25%削減

Uber のエンジニアたちは、同社のデータレイク取り込みプラットフォームを再構築し、スケジュールされたバッチジョブからストリーミングファーストシステムへと移行しました。このプラットフォーム「IngestionNext」はイベントストリームを継続的に処理することで、取り込み遅延を数時間から数分に短縮し、分析や機械学習ワークロードの可用性を大幅に向上させています。 従来、取り込みパイプラインは Apache Spark に依存しており、スケジュールされたバッチジョブとして実行されていました。大規模な処理能力を備えていましたが、バッチパイプラインによりデータが分析や実験で利用可能になるまでに時間がかかるという課題がありました。 グローバルフィールド CTO の Kai Waehner 氏は LinkedIn の投稿で次のように述べています： この取り組みは、データの鮮度をデータ品質の重要な次元として扱うことに尽きます。 IngestionNext は、データをデータレイクにコミットする前にイベントストリームを継続的に処理するストリーミングファーストパイプラインを導入しました。イベントは Apache Kafka を経由して流れ、Flink jobs（Apache Flink によるジョブ）によって処理され、トランザクションコミット、ロールバック、タイムトラベル機能を備えた Hudi テーブルに書き込まれます。データの鮮度と完全性はエンドツーエンドで測定されます。 このアーキテクチャは数千のデータセットと大規模なグローバルデータボリュームをサポートしており、分析ダッシュボード、実験プラットフォーム、機械学習モデルにおけるデータの可用性を高速化します。コントロールプレーンがジョブのライフサイクル、設定、ヘルスモニタリングを自動化し、地域間のフェイルオーバーおよびフォールバック戦略により、障害発生時の継続性を維持し、データ損失を防ぎます。 IngestionNext アーキテクチャ（出典：Uber Blog Post） ストリーミングインジェクションモデルへの移行は、いくつかの技術的課題をもたらしました。その一つは、データレイク内で多数の小ファイルが作成されることで、クエリパフォーマンスやストレージ効率が悪化する問題です。この課題に対処するため、エンジニアらは Parquet ファイルに対して行グループレベルのマージ戦略を実装し、継続的なデータインジェクション中に効率的なファイルレイアウトを維持するためのコンパクションメカニズムを追加しました。Apache Hudi を含むオープンソースの取り組みでは、異なるスキーマを整合させるためにパディングとマスキングを用いたスキーマ進化対応型のマージが探求されましたが、これには実装の複雑さとメンテナンスオーバーヘッドが増加するという課題があります。 チームはまた、分散ストリーミングパイプラインにおけるチェックポイント処理、パーティションの偏り、および障害回復を扱うメカニズムを実装しました。このシステムはアップストリームストリームからのオフセットを追跡し、コミットを調整することで、インジェクションジョブがデータの整合性を維持し、障害発生時に確実に復旧できるようにしています。 エンジニアらによると、ストリーミングインジェクションへの移行によりリソース効率も向上しました。スケジュールされたバッチワークロードを、流入するデータ量に応じてスケーリングする継続実行型のストリーミングジョブに置き換えたことで、計算資源の使用量を約 25% 削減することに成功しています。 Uber Engineering ブログの共著者である Suqiang Song は、自身の LinkedIn Post で次のように述べています： これにより、インジェクションから変換、分析に至るまで、完全なエンドツーエンドのリアルタイムデータスタックが可能になりました。 新しいインジェストプラットフォームはデータレイクに流入する生データの鮮度を向上させますが、エンジニアたちは、下流の変換や分析パイプラインにおいて追加の遅延が発生し続ける可能性があることを認めています。今後の取り組みでは、データ処理スタック全体にストリーミング機能を拡張し、鮮度改善が分析ワークフロー全体に波及するようにすることを目指します。 著者について Leela Kumili Leela はスターバックスのリードソフトウェアエンジニアであり、スケーラブルでクラウドネイティブなシステムや分散プラットフォームの構築において深い専門知識を有しています。彼女はリワードプラットフォーム全体にわたるアーキテクチャ設計、納品、運用上の卓越性を主導し、システムの近代化、スケーラビリティの向上、信頼性の強化に向けた取り組みを率いています。 技術的なリーダーシップに加えて、リーラは組織の AI チャンピオンとしても活動し、LLM ベースのツールを活用して開発者の生産性とワークフローを改善する機会を特定し、AI 導入のためのベストプラクティスを確立しています。彼女は本番環境で運用可能なシステムの構築、開発者体験の向上、そしてエンジニアが技術面と戦略面の両面で成長できるよう指導することに情熱を注いでいます。彼女の関心領域には、プラットフォームエンジニアリング、分散システム、開発者の生産性、そして技術的ソリューションとビジネス・製品目標をつなぐことが含まれています。 Show moreShow less

UberがIngestionNextを発表：ストリーミング優先のデータレイクで遅延と計算量を25%削減

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト