ヤンデックスがプロトコルバッファ用ゼロコピーワイヤーフォーマット「YaFF」をオープンソース化

TLDR YaFF は、Protobuf 向けの Yandex オープンソース・ゼロコピーワイヤーフォーマットです。Apache 2.0 ライセンスで、現在は C++ で実装され、バージョンは v0.1.0 です。 .proto ファイルが真のソースのままであり、物理的なメモリアウトプットのレイアウトのみが変更されます。 Yandex のベンチマークでは、フラットレイアウトによるホットデータの読み込み速度は FlatBuffers より約 3.8 倍速く、生 C++ 構造体との差は 1.2 倍以内です。 4 つのレイアウト（固定、フラット、スパース、ダイナミック）があり、それぞれが読み取り速度とスキーマの柔軟性の間でトレードオフを行います。デフォルトはダイナミックです。 YaFF は Yandex の広告推薦システムで稼働しており、本番環境スケールでは CPU 使用量を 10〜20% 削減した実績があります。 導入は段階的に行われます：ホットパスの 1 つに YaFF を投入し、エッジ部で双方向 Protobuf 変換を行います。 Yandex は Apache 2.0 の下で YaFF（Yet another Flat Format）をオープンソース化しました。これは高性能な C++ シリアライゼーションライブラリです。YaFF は Protobuf エコシステム向けのゼロコピーワイヤーフォーマットを提供します。.proto ファイルは唯一の真のソースとして維持され、フォーマットの変更はデータがメモリ上にどのように配置されるかという点に限定されます。この技術はサーバーサイドランタイムに焦点を当てています。 YaFF とは何か YaFF は Protobuf の代替品ではありません。それは Protobuf メッセージ向けの代替ワイヤーフォーマットです。同じ.proto スキーマから、プロトタイプのような C++ API が生成されます。読み取りには解析ステップが不要なため、フィールドはバッファから直接取得できます。パフォーマンスに敏感でないコードでは、依然としてワイヤーフォーマットを Protobuf メッセージへパースして戻すことも可能です。この双方向変換こそが、モジュールごとの段階的導入を現実的なものとしています。YaFF はホットパスの 1 つに導入し、残りの部分は引き続き Protobuf を使用します。 それが解決する課題 Protobuf の解析は、高負荷のバックエンドでは CPU の使用率を二桁パーセントまで消費することがあります。大規模なスケールでは、これは数千もの物理コアに相当します。一般的なゼロコピーオプションとして Google 製の FlatBuffers が挙げられますが、FlatBuffers は Protobuf のドロップイン代替ではなく、別個のスキーマと変換レイヤーの維持を必要とします。意味論的に Protobuf と互換性がないため、移行にはスキーマの重複、異なるスキーマ進化ルール、そして手書きによるフィールドコンバータが必要となります。多くのチームは、このコストに見合わないという結論に至ります。YaFF はこのギャップを埋めることを目指し、Protobuf の意味論を維持したままゼロコピー読み取りを実現します。 レイアウトの仕組みについて レイアウトは、メッセージがバッファ内にどのように保存されるかを決定するものです。これは物理的な表現のみを変更し、スキーマや生成されたインターフェースには変更を加えません。YaFF では 4 つのレイアウトが提供されています。「Fixed」はヘッダーを持たない単純なパッキング済み構造体で、スキーマは固定されます。「Flat」は 2 バイトのヘッダーを追加し、スキーマ進化をサポートします。「Sparse」はメタテーブルを通じてフィールドにアクセスするため、疎なスキーマに適しています。「Dynamic」がデフォルトであり、実行時に Flat または Sparse を選択します。スキーマが許容する場合は Flat を使用し、進化によってフラットなアライメントが崩れた場合に Sparse に切り替えます。 レイアウト 読み取りアクセス メッセージごとのオーバーヘッド スキーマ進化 最適な用途 Fixed 1 回の読み取り、0 回の分岐 0 バイト 固定 小規模なインラインプリミティブ Flat 2 回の読み取り、1 回の分岐 2 バイト 制限あり（型保存） 密なデータ、ホットデータ Sparse 4 回の読み取り、2 回の分岐 6 バイト 制限なし 疎なスキーマ、自由な進化 動的（デフォルト）/ランタイム時のフラットまたはスパース / 2 または 6 バイト / 制限なし / 一般的なアプリケーションロジック ベンチマーク ヤンデックスは、google/benchmark を使用してビルドされた再現可能なベンチマークスイートをリリースビルドとして提供しています。以下の数値は、AMD EPYC 7713 プロセッサと Clang 20.1.8 コンパイラ環境における、読み取りあたりの中央値ナノ秒数を示しています。数値が小さいほど高速です。ホットな階層ケースにおいて、フラットレイアウトの読み込み時間は 9.79 ナノ秒です。FlatBuffers は 37.30 ナノ秒を要し、Protobuf（プロトコルバッファ）は 219.35 ナノ秒かかります。一方、生 C++ 構造体のベースラインは 8.14 ナノ秒です。つまり、フラットレイアウトはここでは FlatBuffers より約 3.8 倍、Protobuf より約 22 倍高速であり、生構造体との差も 1.2 倍以内に収まっています。 フォーマット 読み込み時間（ナノ秒） 生構造体に対する遅延率 生 C++ 構造体 8.14 1.0× YaFF フラットレイアウト 9.79 1.2× YaFF スパースレイアウト 21.23 2.6× FlatBuffers 37.30 4.6× Protobuf（プロトコルバッファ） 219.35 26.9× 読み取りあたりの中央値ナノ秒数、階層化/ホット/チェーンキャッシングなし。出典：https://yaff.tech/docs/en/benchmarks/access 注：絶対値はホスト CPU とメモリに依存しますが、フォーマット間の比率はハードウェアを跨いで概ね維持されると予想されます。 コンパイラエイリアシングの詳細 FlatBuffers と YaFF はどちらも、生メモリをターゲット型として再解釈することでフィールドを読み取ります。この型パニングにより、TBAA（Type-Based Alias Analysis）には十分な情報が不足し、LLVM のエイリアス解析は保守的な MayAlias 判定に依存せざるを得なくなります。その結果、コンパイラは繰り返しアクセスが再利用可能であることを証明できず、root.intermediate().leaf().a() を二度呼び出すたびにツリーを再走査することになります。YaFF は生成されたコードに注釈を追加し、再利用が安全なタイミングをコンパイラに伝えます。関連するメモリが読み取り間に修正されていない限り、YaFF の生成コードによる注釈は、コンパイラがアクセスチェーンの再利用を支援できることがよくあります。読み取り間にメモリの書き込みが行われない限り、YaFF は独自にアクセスチェーンをキャッシュします。 適用領域：ユースケース YaFF は、プロデューサーとコンシューマーの両方を制御できるシステムを対象としています。推薦や広告配信バックエンドが最も明確な適用例です。Yandex によると、YaFF は同社の広告推薦システムで動作しており、本番環境スケールでは CPU 使用量を 10〜20% 削減できると報告されています。メモリモップドインデックスは二つ目の適用領域です。ホストは数十ギガバイトのローカルデータを保持できます。これらの mmap 可能なインデックスは、サービス再起動時に再解析することなく存続します。検索インデックス、特徴量ストア、フィードサービスはいずれも、この読み取り集中型のプロファイルを持っています。計画されているカラムナーレイアウトは、大規模な繰り返しフィールドを持つ分析および機械学習パイプラインを対象としています。YaFF は FlatBuffers よりもコンパクトになる可能性があり、キャッシュ動作の向上に寄与します。 コード概観 読み取りパスは、パースステップを除き Protobuf と同様です。 Copy CodeCopiedUse a different Browser #include "feed.pb.h" // protoc によって生成 #include "feed.yaff.h" // yaff_generate() によって生成 // 1. 既存の Protobuf メッセージを YaFF バッファにシリアライズする。 feed::FeedResponse proto = LoadFeedResponse(); const auto buffer = yaff::Serialize(proto); // 2. バッファから直接フィールドを読み取る。パース処理は不要。 const auto& response = yaff::ReadMessage(buffer.Data()); for (const auto& item : response.items()) { std::string_view title = item.title(); std::string_view author = item.author().name(); // 著者が未設定の場合は空文字 } // 3. コンシューマーがパース済みメッセージを必要とする場合は、Protobuf に変換する。 feed::FeedResponse restored; response.ParseTo(restored); YaFF は CMake (find_package) または Conan を通じて追加します。コード生成では protobuf_generate() の後に yaff_generate() が実行されます。生成された YaFF タイプは protoyaff:: ネームスペースに存在します。ほとんどのプロジェクトでは yaff::core と yaff::proto だけをリンクすれば十分です。 リソース: GitHub リポジトリとドキュメントをご覧ください。

ヤンデックスがプロトコルバッファ用ゼロコピーワイヤーフォーマット「YaFF」をオープンソース化

背景や根拠まで確認しますか？

調べる

選ぶ

サイト