Pinterest、自動メモリ再試行によりSparkのOOM障害を96%削減

Pinterestのエンジニアリングチームは、可観測性の向上、設定のチューニング、自動メモリリトライを組み合わせたアプローチにより、Apache Sparkのワークロードの信頼性を大幅に向上させ、メモリ不足（OOM）による失敗を96%削減しました。この取り組みは、レコメンデーションシステムや大規模データ処理を駆動するメモリ集約型のワークロードにおいて、パイプラインを混乱させ、オンコールの負荷を増大させ、タイムリーな分析を脅かしていた持続的なジョブ失敗の問題に対処するものです。 長年にわたり、OOMエラーはPersistentな頭痛の種でした。ジョブは実行の最終段階、しばしば数時間計算を行った後に失敗し、エンジニアが手動でメモリ設定を調整してパイプラインを稼働させ続けることを強いていました。これらの失敗は下流のプロセスを混乱させ、オンコールの負荷を増大させ、チームが新機能の提供に集中することを困難にしました。この問題を解決するには、失敗を減らしつつ手動の労力を最小限に抑えるために、技術的な解決策とワークレベルのソリューションの両方が必要でした。 重要な第一歩は、ジョブがメモリをどのように消費しているかについての可視性を向上させることでした。エンジニアは、Executorのメモリ使用量、シャッフル操作、タスクの実行時間に関する詳細なメトリクスを構築しました。このデータはホットスポット、偏ったパーティション、そして異常にリソースを消費するステージを特定するのに役立ちました。Pinterestのエンジニアがブログで説明しているように、ジョブ内でメモリがどこで消費されているかを理解することは、失敗を効果的に解決するために不可欠です。問題が具体的にどこで発生したかを知ることで、チームは一律にメモリを追加するのではなく、精密な調整を行うことができました。 Executor レベルのメモリ使用量と Spark ワークフローにおける Auto Memory Retry の可視化（出典：Pinterest ブログ記事） これらの洞察を補完する形で、設定のチューニングが行われました。メモリ割り当て、シャッフルパーティション数、ブロードキャスト結合に関する Spark の設定が、ワークロードのパターンに合わせて最適化されました。アダプティブクエリ実行（Adaptive Query Execution）により、システムはパーティショニングを動的に調整でき、負荷の重いステージにおけるメモリ圧力を軽減しました。追加の前処理によりデータの不均衡（data skew）を平滑化し、バリデーションチェックによって失敗を引き起こす前に、異常に巨大または不審なデータセットを特定してフラグを立てました。高リスクのジョブについては、パイプラインの安定性と予測可能性を確保するため、人間のレビューがワークフローの一部として残されました。 Auto Memory Retry は、大きなワークフローの転換点を意味しました。以前はメモリ不足により失敗していたジョブが、更新されたメモリ設定で自動的に再起動できるようになりました。この自動化により、エンジニアの時間を消費していた手動チューニングの大部分が不要となり、コアなジョブロジックを変更せずにパイプラインを完了できるようになりました。 展開は慎重に段階的に行われました。エンジニアはまずアドホックジョブから始め、0% から 100% まで段階的に適用範囲を広げ、その後スケジュールされたジョブに移行しました。スケジュールジョブではまず低優先度のティアから始め、最終的に重要度の高いワークロードにこの機能を適用しました。ダッシュボードでは、回復されたジョブ数、コスト削減額、節約された MB 数、節約された vCore 秒数、リトライ後の失敗数といった主要な指標を追跡しました。この段階的なアプローチにより、チームは問題を早期に発見し、信頼性を確保し、完全な展開前にリトライの微調整を行うことができました。 その過程で、チームは重要な運用上の教訓を学びました。これには、大規模な TaskSet に対するスケジューラの性能向上、Apache Gluten との互換性のためのカスタムリソースプロファイルの処理、そして OOM 失敗が再試行をブロックしないようにホスト障害の除外設定を調整することが含まれます。今後の作業には、プロアクティブなメモリ増強が含まれます。これは、リスクの高いステージにあるタスクが失敗する前に追加のメモリを受け取る仕組みであり、再試行とクラスターのオーバーヘッドをさらに削減することを目指します。 著者について Leela Kumili Leela はスターバックスのシニアソフトウェアエンジニアであり、スケーラブルでクラウドネイティブなシステムおよび分散プラットフォームの構築に深い専門知識を持っています。彼女はリワードプラットフォーム全体において、アーキテクチャ、納品、運用の卓越性を牽引し、システムの近代化、スケーラビリティの向上、信頼性の強化に向けた取り組みを主導しています。 彼女のテクニカルリーダーシップに加え、リーラは組織内のAIチャンピオンとしても活動し、LLMベースのツールを活用して開発者の生産性やワークフローを改善する機会を特定し、AI導入におけるベストプラクティスを確立しています。彼女は本番環境で動作するシステムの構築、開発者体験の向上、そしてエンジニアが技術的および戦略的なインパクトにおいて成長できるようメンタリングすることに情熱を注いでいます。彼女の興味のある分野には、プラットフォームエンジニアリング、分散システム、開発者生産性、そして技術的ソリューションとビジネス・プロダクトの目標を結びつけることが含まれます。

Pinterest、自動メモリ再試行によりSparkのOOM障害を96%削減

背景や根拠まで確認しますか？

調べる

選ぶ

サイト