DatadogがエージェントのGoバイナリサイズを77%削減した方法

Datadog エージェントのバイナリサイズが 5 年間で 428 MiB から 1.22 GiB に増加した後に、Datadog のエンジニアたちはそのバイナリサイズを削減することに取り組みました。彼らは、Go バイナリの肥大化の大部分が、隠れた依存関係、無効化されたリンカー最適化、および Go コンパイラとリンカーにおける微妙な動作に起因することを発見しました。 この成長は、Datadog 側とそのユーザー双方に影響を及ぼしました：ネットワークコストとリソース使用量が増加し、エージェントに対する評価が悪化し、リソース制約のあるプラットフォームでエージェントを使用することが困難になりました。 これに対処するため、Datadog のソフトウェアエンジニアである Pierre Gimalac は、彼らのアプローチはインポートの監査、オプションコードの分離、および反射/プラグインの落とし穴の排除によってバイナリを可能な限り小さくすることであると記述しています。 実際、エージェントの成長を分析した結果、Datadog のエンジニアたちはそれが新機能、追加された統合、そして大規模なサードパーティ製依存関係（例：Kubernetes SDK）によって駆動されていることを発見しました。特に、Go の依存関係モデルには転送インポートが含まれているため、小さな変更であっても数百のパッケージを引き込む可能性があります。 Datadog のエンジニアは、不要な依存関係を削除するための 2 つの実用的な方法を考案しました。1 つ目はビルドタグ（//go:build feature_x）を使用してオプションのコードを除外する方法、2 つ目はコードを別パッケージに移動させ、必須のパッケージが可能な限り小さくなるようにする手法です。これらの両方の技術には、特定のビルドからどのファイルやパッケージを除外できるかを特定するために、インポートを体系的に監査することが必要でした。例えば、単に関数を独自のパッケージに移動しただけで、それを使用しないバイナリから約 570 のパッケージと約 36 MB の生成コードが削除されました。 依存関係の監査は容易な作業ではありませんが、Go エコシステムにはこれを支援する 3 つの有用なツールがあります。1 つ目は go list で、ビルドで使用されるすべてのパッケージをリストアップします。2 つ目は goda で、依存グラフやインポートチェーンを可視化し、特定の依存関係が必要とされる理由を理解するのに役立ちます。3 つ目は go-size-analyzer で、各依存関係がバイナリにどの程度の容量を割り当てているかを示します。 依存関係の最適化に加え、Datadog のエンジニアは反射（reflection）の使用を最小限に抑えることで、さらに 20% のサイズ削減を実現しました。反射を使用すると、リンカー最適化の一部が静かに無効化される可能性があります。その一例としてデッドコード除去（dead-code elimination）があります。 もし定数でないメソッド名を使用した場合、リンカーはビルド時に実行時にどのメソッドが使用されるかを把握できなくなります。そのため、到達可能なすべての型のエクスポートされたメソッドと、それらが依存するすべてのシンボルを保持する必要があり、その結果、最終的なバイナリのサイズが劇的に増加してしまう可能性があります。 この課題に対処するため、彼らはコードベースおよび依存ライブラリの両方で可能な限り動的リフレクションを排除しました。後者のステップでは、kubernetes/kubernetes、uber-go/dig、google/go-cmp などのプロジェクトに対して複数のプルリクエスト（PR）を提出する必要がありました。 デッドコード除去を無効化するもう一つの特徴は Go プラグインです。これは Go プログラムが実行時に動的に Go コードを読み込むメカニズムを提供します。実際、プラグインパッケージを単にインポートするだけで、リンカーはバイナリを動的リンクとして扱い、「これによりメソッドのデッドコード除去が無効化され、さらに非公開メソッドまですべて保持させることになります」。この変更により、一部のビルドではさらに約 20% の削減が実現されました。 最後に、Gimalac はこれらの改善は 6 ヶ月かけて達成されたものであり、最も重要なのは機能の削除を一切必要としなかったと強調しています。彼の報告にはここで取り上げきれない詳細な内容も含まれているため、完全なストーリーを知るためには必ず原文をお読みください。 著者について セルジオ・デ・シモーネ セルジオ・デ・シモーネはソフトウェアエンジニアです。セルジオは過去 25 年以上にわたり、シーメンス、HP、そして小規模なスタートアップなど、多様なプロジェクトや企業でソフトウェアエンジニアとして活動してきました。最近の 10 年以上は、モバイルプラットフォームおよび関連技術の開発に注力しています。現在では BigML, Inc. に勤務し、iOS および macOS の開発を率いています。 詳細を表示する/表示しない

DatadogがエージェントのGoバイナリサイズを77%削減した方法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト