Vercel Sandboxのスナップショット最適化

最近、Vercel Sandboxにファイルシステムスナップショット機能をリリースし、サンドボックスのファイルシステム全体の状態をキャプチャして復元できるようにしました。スナップショットは信頼性が高く、使いやすく、高速である必要があります。当初は信頼性に重点を置き、スナップショットの取得、復元、データ損失が決して発生しないことを確実にしました。しかし、安定していても極端に遅い製品は誰も使いません。p75のスナップショット復元には40秒以上かかっていました。現在では並列化とローカルキャッシュにより、1秒未満に抑えられています。 ディスク上のスナップショットの仕組み Vercel Sandboxは、社内ビルド製品であるHiveと同じインフラストラクチャ上で動作します。各サンドボックスはFirecracker microVM内の隔離されたコンテナです。 スナップショットは、サンドボックスのディスクの圧縮コピーです。私たちは2種類のファイルを扱っています： 生のディスクイメージ（.img） - 数GBになる可能性があります カスタムVHS形式（Vercel Hive Snapshot）の圧縮版 - これがS3にアップロードされ、S3からダウンロードされます `sandbox.snapshot()`を呼び出すと、.imgを.vhsに圧縮してS3にアップロードします。スナップショットを指定して`Sandbox.create()`を呼び出すと、.vhsをダウンロードして展開します。圧縮によりファイルサイズが削減され、ネットワーク経由で数百MBから数GBを転送する際に重要になります。 並列化を実現する 信頼性を確保した後、パフォーマンスに取り組みました。復元のプロセスは非常に直列的なものでした。単一のリクエストでS3から.vhsファイル全体をダウンロードし、完了を待ってから単一スレッドで解凍していました。 スナップショットは200MBから数GBの範囲であるため、S3からの単一ダウンロードだけで数秒から数十秒かかることがありました。代わりに、Range HTTPヘッダーを使用してチャンクを並列ダウンロードするようにしました。AWS Go SDKには、まさにこのための`transfermanager` APIが組み込まれています。様々な並列度とチャンクサイズをベンチマークした結果、ダウンロード速度が2〜5倍向上しました。 次に取り組んだのは解凍です。当社の.vhs形式は、ヘッダーと、ディスクイメージの割り当て済み領域ごとのフレームで構成されています。フレームを1つずつデコードして解凍するのではなく、1つのデコーダーとN個の解凍ゴルーチンに切り替えました。これにより、.vhsから.imgへの復元が、スナップショットサイズに応じて2〜4倍高速化されました。 ダウンロードと解凍の両方を並列化しても、まだ最適化の余地が一つ残っていました。完全なダウンロードが終わるのを待ったり、中間ファイルをディスクに書き込んだりすることなく、S3の範囲リクエストのストリームを直接解凍処理にパイプするようにしました。これにより、エンドツーエンドの復元時間がさらに2分の1に短縮されました。 キャッシュ…していなかった？ お気づきかもしれませんが、これまで話してきたのは、キャッシュミス時にS3からスナップショットを取得する必要がある「低速パス」の改善についてだけです。実際には「高速パス」が存在しなかったため、すべてがキャッシュミスでした。ええ、当初はパフォーマンスに全く焦点を当てていなかったのです。 当社のサンドボックスはNVMeディスクを搭載したメタルインスタンスで動作するため、数テラバイトの高速なローカルストレージのほとんどが未使用でした。 LRU（Least Recently Used）方式によるローカルディスクキャッシュを追加し、エントリ数ではなく合計ディスク容量でサイズを決定しました。圧縮された.vhsではなく、展開済みの.imgを直接キャッシュするため、キャッシュヒット時にはダウンロードと解凍の両方をスキップできます。キャッシュが満杯になると、最も最近使用されていないスナップショットが削除（エビクション）され、スペースが確保されます。 ほとんどのお客様は多くのサンドボックスで再利用する「ベース」スナップショットをお持ちであるため、95%のキャッシュヒット率を達成しています。キャッシュヒット時には、起動時間はmicroVMとコンテナの起動のみに制限されます。 40秒から1秒未満へ p75は40秒から1秒未満に、p95は50秒から5秒に低下しました。当社のキャッシュヒット率により、ほとんどのサンドボックス起動では、ダウンロードと解凍のパイプラインを完全にスキップします。 さらに多くのアイデアを検討中です。キャッシュアフィニティを導入すれば、要求されたスナップショットが既にキャッシュされているメタルインスタンスにサンドボックスをルーティングし、人気のあるスナップショットに対する「コールドパス」を排除できる可能性があります。しかし、これはサンダリングハード現象や特定マシンのホットスポット化を招くリスクがあるため、慎重に進めています。 長期的には、キャッシュが必須条件ではなく付加価値となるほど、「コールドパス」を十分に高速化したいと考えています。 これらの最適化は、現在ベータ版のAutomatic Persistence（自動永続化）ですでに活用されています。名前付きサンドボックスを停止すると、そのファイルシステムは自動的にスナップショットされ、再開時に復元されます。1秒未満での復元により、このサイクルは瞬時に感じられます。 ファイルシステムスナップショットは、すべてのVercel Sandboxで本日より利用可能です。開始するにはSandboxドキュメントをご確認ください。 続きを読む

Vercel Sandboxのスナップショット最適化

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト