6千万記事レコードの大規模データマイグレーション

本記事では、ストックマークが2022年12月に実施した、6,000万件を超える記事レコードの大規模データ基盤マイグレーションについて紹介します。本記事を読むことで、大規模データマイグレーションの勘所を実例から学ぶことができます。 本記事でお伝えする内容は以下の4点です。 * 背景 * 検討の進め方 * 大変だったこと * 再現可能な知見 **背景** ストックマークには、大量の記事データを利用するプロダクトとして、AnewsとAstrategyの2つがあります。どちらのプロダクトも、共通の記事データストアにあるコンテンツに対し、プロダクトごとに独自の自然言語処理（NLP）を施して活用しています。アーキテクチャを簡単に示すと次のようになります。 **(図: 移行前のアーキテクチャ)** AnewsとAstrategyが解決する顧客課題は異なります。それぞれのプロダクトの観点から顧客価値のディスカバリーを最優先した結果、両プロダクトは独自に進化を遂げ、現在の構成に至りました。 もちろん、プロダクト開発の最初期段階から将来を見据えて基盤を共通化するという考え方もあり得ました。しかし、共通化の必要性が明らかでない段階で着手すると、無駄に機能を作り込んでしまう可能性が高く、スタートアップとしては不適切と判断しました。 やがて事業が進化するにつれ、2つのプロダクト価値を接続することの重要性が高まってきました。今後も両プロダクトが大きく成長していくと見込まれたため、約3ヶ月前、このタイミングでデータストアのマイグレーションに着手することを決断し、実行に移しました。 **検討の進め方と移行後の方式** マイグレーションを進めるにあたり、重要な観点を以下の2つに定めました。 1. 自社の強みであるデータと自然言語処理技術が進化し続けられる基盤とすること 2. 各プロダクトの開発アジリティを損なわないこと 3. 現状の機能からデグレード（機能劣化）が発生しないこと 上記を満たす移行方式を数パターン検討し、移行コスト、移行後の運用性・拡張性などの観点から、最終的に以下のアーキテクチャを採用しました。 **(図: 移行後のアーキテクチャ)** このアーキテクチャでは、記事マスタを基に、AnewsとAstrategyが参照するデータ基盤を別々に構築しています。ただし、データ基盤を構築するまでのパイプラインを共通化することで、両プロダクト間のデータ整合性を保っています。 この共通バッチ処理は、Astrategyのパイプラインをベースに構築しました。スクラッチ（一から）で作成する案もありましたが、移行コストを抑えるため、活用可能な既存資産を最大限利用しました。 **大変だったこと** Anewsはサービス開始から5年以上が経過しています。5年以上もデータが蓄積されると、本番環境（プロダクション）の実データで試行しないとわからない問題があり、これが最も困難な点でした。 以前の記事でも紹介した通り、ストックマークではAWS Lambda x Node.jsを利用して記事データを日々蓄積しています。収集した記事データに処理を加え、プロダクトごとのマスターデータストアを作成しているのです。 今回の移行では、このプロダクトごとのマスターデータストアを再構築する必要がありました。再構築の対象となる記事データは6,000万レコードを超え、処理には約4～5日かかることが判明していました。 したがって、再構築に何度も失敗すると、4～5日×失敗回数だけ時間がかかってしまいます。そのため、一定の机上検討を行い、可能な限り精度の高い方法で移行に臨みました。 しかし、机上の検討だけでは、本番環境のデータでなければ発見できない問題も存在します。過去の緊急対応によるデータ改変や、暫定的な最適化処理が想定外の問題を引き起こすケースがあり、これらは移行後のテストで多く発見しました。可能な限りデータパッチで対応しましたが、復旧が困難な状況に陥ったため、全件の再構築を実施し、2度目の試行で移行を成功させています。 **再現可能な知見** 得られた知見は主に2点あります。 1点目は、前述の通り一度は移行をやり直したものの、机上検討の時間を一定に区切り、実際に試行を重ねた方法論です。ミッションクリティカルなシステムで失敗が許されない場合は別ですが、今回のように既存システムが稼働している場合は、本番データを用いた試行を計画に織り込むことが有効だと考えています。 2点目は、開発チームの意識統一です。移行に伴う開発工数を最小化するため、重要なポイントについてチームでウォークスルーを行い、認識をすり合わせました。全体方針は文書化されていましたが、理解度には個人差があり得ます。そこで、重要な箇所に絞り、チームで文書の項目を一つずつ確認する時間を設けたのです。 **まとめ** 本記事では、ストックマークが実施した大規模データ基盤移行の概要を紹介しました。 本記事で扱いきれなかった細かな工夫や技術的詳細は多数ありますので、ご興味があればぜひカジュアル面談でお話しさせてください。 また、本テーマをより深く掘り下げるイベント「Stockmark Tech Meetup #06 - スタートアップの成長フェーズに応じたデータストアのリファクタリングのタイミングと方法」を、2023年3月8日（水）19:30より開催いたします。本記事にご興味を持たれた方は、ぜひこちらにもご参加ください。

6千万記事レコードの大規模データマイグレーション

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト