Uberのハイブリッドクラウドデータ：エンジニアが極大規模レプリケーションの課題を解決
本文の状態
日本語全文を表示中
詳細モードで約6分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
InfoQ
UberのHiveSyncチームは、ハイブリッドクラウドとオンプレミスデータレーク間のマルチペタバイトレプリケーションを処理するため、Hadoop Distcpを最適化した。タスク並列化、小規模転送用Uberジョブ、可観測性向上により、レプリケーション容量を5倍に拡大し、オンプレミスからクラウドへのシームレスな移行を実現した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
Uber のエンジニアリングチームは、データ複製プラットフォームを刷新し、急速に増加するワークロードによって引き起こされるスケーリング課題に対処しながら、ハイブリッドクラウドとオンプレミスのデータレイク間で毎日ペタバイト単位のデータを転送可能になりました。このプラットフォームは Hadoop のオープンソース Distcp フレームワーク を基盤として構築されており、現在は速度、信頼性、観測性の向上により、1 日あたり 1 ペタバイトを超えるデータ複製と数十万件のジョブを処理しています。これにより、分析、機械学習、災害復旧が前例のない規模で実現可能となっています。
Distcp は、Hadoop の MapReduce を用いて複数のノード間で大規模なデータセットを並列にコピーするためのオープンソースフレームワークです。ファイルはブロックに分割され、YARN コンテナ内で実行される Copy Mapper タスクに割り当てられます。Resource Manager がリソースを割り当て、Application Master がジョブの実行を監視してマージを調整し、Copy Committer が宛先で最終ファイルを組み立てます。Uber の HiveSync チームは、準備タスクを Application Master へ移行し、リスト処理とコミットプロセスの並列化を図り、小規模転送の効率を改善することで、このアーキテクチャをマルチペタバイト規模のワークロード向けに最適化しました。
HiveSync は、もともと Airbnb の ReAir プロジェクトに基づいており、バッチデータと増分データの両方を用いた複製によって、Uber の HDFS とクラウド上のデータレイクを同期させます。256 MB を超えるデータセットの場合、並列で非同期ワーカーを通じて Distcp ジョブ（Distcp）が送信され、監視スレッドが進捗を追跡します。日々の複製量が 250 TB から 1 PB を超え、データセット数が 30,000 から 144,000 に拡大するにつれ、HiveSync は SLA（サービスレベルアグリーメント）を脅かすバックログに直面しました。これは、クラウド移行と Uber のアクティブ・パッシブ型データレイクモデルを支えるために、運用面およびアーキテクチャ面の強化が不可欠であることを強調しています。
image/filters:no_upscale()/news/2026/03/uber-scaled-data-replication/en/resources/1uberhivesyncdistcp-1771726530169.jpeg)
*HiveSync アーキテクチャ：Distcp を用いたデータ複製ワークフロー（出典：Uber Blog Post）*
スケーリング課題への対応として、HiveSync チームは Distcp を強化し、Copy Listing や Input Splitting といったリソース集約型のタスクを HiveSync サーバーから Application Master へ移行しました。これにより HDFS クライアントの競合が軽減され、ジョブ提出レイテンシが最大で 90% 短縮されました。また、Copy Listing と Copy Committer のタスクを並列化することで、ブロック順序を維持しながら複数のファイルを同時に処理可能となり、p99 リスティングレイテンシが 60% 低下し、最大コミットレイテンシは 97% 以上短縮されました。200 ファイル未満または 512 MB 未満の転送を行う小規模ジョブでは、Hadoop の Uber ジョブ機能により Copy Mapper タスクを Application Master の JVM 内で直接実行し、毎日約 268,000 回のコンテナ起動を不要とし、YARN の効率性を向上させました。
image/filters:no_upscale()/news/2026/03/uber-scaled-data-replication/en/resources/1hivesyncjob-1771726530169.jpeg)
*Distcp ジョブの 50% 以上がマッパーを 1 つずつ割り当てられています（出典: Uber Blog Post）*
これらの最適化により、増分レプリケーションの容量は5倍に増加し、Uber のオンプレミスからクラウドへの移行期間中に HiveSync が 300 PB を超えるデータをインシデントなく複製できるようになりました。ジョブ送信、コピーリスト作成、コミッターメトリクス、ヒープ使用量、p99 コピーレートを含む監視機能の強化により、エンジニアはワークロードを監視し、障害を未然に防ぐことが可能になりました。メモリ不足エラー、過剰なジョブ送信、長時間実行されるコピーリストタスクは、ストレステスト、サーキットブレーカー、最適化された YARN 設定、およびタスク実行順序の再配置によって緩和されました。
今後、HiveSync チームはさらなる並列化、リソース管理の最適化、ネットワーク効率の向上に注力しています。計画されている改善点には、ファイル権限の設定と入力分割の並列化、計算集約型のコミットタスクを Reduce フェーズへ移行すること、動的な帯域幅スロットラーの実装が含まれます。Uber はこれらの改善点をオープンソースパッチとして貢献する予定であり、これにより広範なコミュニティが極大規模なハイブリッドクラウドレプリケーションを管理する能力を拡張できる見込みです。エンジニアチームは、「私たちのスケールにおいて小さな改善でも大きな成果につながる」と指摘しています。これらの取り組みは、複雑で多地域にまたがるデータパイプライン全体で高スループットかつ信頼性の高いパフォーマンスを維持するために必要な運用面およびエンジニアリングの創意工夫を浮き彫りにするものです。
著者について
## Leela Kumili
リーラはスターバックスのリードソフトウェアエンジニアであり、スケーラブルでクラウドネイティブなシステムや分散プラットフォームの構築において深い専門知識を有しています。彼女はリワードプラットフォーム全体にわたってアーキテクチャ、納品、運用の卓越性を主導し、システムの近代化、スケーラビリティの向上、信頼性の強化に向けた取り組みを率いています。
技術的なリーダーシップに加え、リーラは組織内の AI チャンピオンとしても活動しており、LLM ベースのツールを活用して開発者の生産性とワークフローを改善する機会を特定し、AI 導入のためのベストプラクティスを確立しています。彼女は本番環境で運用可能なシステムの構築、開発者体験の向上、そしてエンジニアが技術面と戦略的インパクトの両面で成長できるようメンタリングすることに情熱を注いでいます。彼女の関心領域にはプラットフォームエンジニアリング、分散システム、開発者の生産性、そして技術ソリューションとビジネス・製品目標をつなぐことが含まれています。
Show moreShow less
原文を表示
Uber’s engineering team has transformed its data replication platform to move petabytes of data daily across hybrid cloud and on-premise data lakes, addressing scaling challenges caused by rapidly growing workloads. Built on Hadoop’s open-source Distcp framework, the platform now handles over one petabyte of daily replication and hundreds of thousands of jobs with improved speed, reliability, and observability, enabling analytics, machine learning, and disaster recovery at unprecedented scale.
Distcp is an open-source framework that copies large datasets in parallel across multiple nodes using Hadoop’s MapReduce. Files are split into blocks and assigned to Copy Mapper tasks running in YARN containers. The Resource Manager allocates resources, the Application Master monitors job execution and coordinates merges, and the Copy Committer assembles final files at the destination. Uber’s HiveSync team optimized this architecture for multi-petabyte workloads by moving preparation tasks to the Application Master, parallelizing listing and commit processes, and improving efficiency for small transfers.
HiveSync, originally based on Airbnb’s ReAir project, keeps Uber’s HDFS and cloud data lakes synchronized using bulk and incremental replication. For datasets larger than 256 MB, it submits Distcp jobs through asynchronous workers in parallel, with a monitoring thread tracking progress. As daily replication grew from 250 TB to over 1 PB and datasets expanded from 30,000 to 144,000, HiveSync faced backlogs that threatened SLAs, emphasizing the need for operational and architectural enhancements to support cloud migration and Uber’s active-passive data lake model.
To address scaling challenges, the HiveSync team enhanced Distcp by moving resource-intensive tasks like Copy Listing and Input Splitting from the HiveSync server to the Application Master, reducing HDFS client contention and cutting job submission latency by up to 90 percent. Copy Listing and Copy Committer tasks were parallelized, allowing multiple files to be processed simultaneously while maintaining block order, lowering p99 listing latency by 60 percent and maximum commit latency by over 97 percent. For smaller jobs transferring fewer than 200 files or 512 MB, Hadoop’s Uber job feature ran Copy Mapper tasks directly in the Application Master’s JVM, eliminating roughly 268,000 container launches daily and improving YARN efficiency.
These optimizations increased incremental replication capacity fivefold, enabling HiveSync to replicate over 300 PB during Uber’s on-premise-to-cloud migration without incidents. Enhanced observability, including job submission, Copy Listing, and Committer metrics, heap usage, and p99 copy rates, helped engineers monitor workloads and preempt failures. Out-of-memory errors, high job submissions, and long-running Copy Listing tasks were mitigated via stress testing, circuit breakers, optimized YARN configurations, and reordered task execution.
Looking ahead, the HiveSync team is focusing on further parallelization, optimized resource management, and network efficiency. Planned enhancements include parallelizing file permission setting and input splitting, moving compute-intensive commit tasks to the Reduce phase, and implementing a dynamic bandwidth throttler. Uber plans to contribute these improvements as an open-source patch, extending the broader community’s ability to manage extreme-scale hybrid cloud replication. Even small improvements can lead to significant gains at our scale, the engineering team noted. These efforts highlight the operational and engineering creativity required to sustain high-throughput, reliable performance across complex, multi-region data pipelines.
About the Author
Leela Kumili
Leela is a Lead Software Engineer at Starbucks with deep expertise in building scalable, cloud-native systems and distributed platforms. She drives architecture, delivery, and operational excellence across the Rewards Platform, leading efforts to modernize systems, improve scalability, and enhance reliability.
In addition to her technical leadership, Leela serves as an AI Champion for the organization, identifying opportunities to improve developer productivity and workflows using LLM-based tools and establishing best practices for AI adoption. She is passionate about building production-ready systems, enhancing developer experience, and mentoring engineers to grow in both technical and strategic impact. Her interests include platform engineering, distributed systems, developer productivity, and bridging technical solutions with business and product goals.
Show moreShow less
関連記事
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み