Datadog が Claude Code の汎用ツールを構築

Temper への道

機械化とは、エージェントがより多くの作業を担うようになることを意味します。そして産業化とは、作業が反復可能で、検証可能かつ制御可能、さらにスケーラブルになることを指します。Datadog においてこの変化は一夜にして起きたわけではありません。Temper への道は、Courier、BitsEvolve、Helix の 3 つのプロジェクトを経て歩まれました。それぞれのプロジェクトが次のボトルネックを明らかにし、同時に野心を育む土壌となりました。

2024 年、Datadog は分散キューイングシステムである **Courier** を発表しました。これはゼロから手作業で構築され、完成までに 1 年を要したプロジェクトです。

「部品そのものを作る難しさよりも重要だったのは、それらの相互作用を観測可能にし、テストと検証を可能にすることでした」と Sesh は語ります。「そこで私たちは形式モデル化とシミュレーションに徹底的に取り組みました。特にミスが重大な結果を招いたり、取り返しがつかなくなったりする箇所を見極め、その部分の厳密さを高めたのです。」

2025 年 9 月には、クローズドループ型の進化最適化ハーンである **BitsEvolve** が構築されました。これはモデルによる評議会がコードのバリエーションを生成し、一連の ベンチマーク、テスト、そして本番環境の観測データによって、どのバージョンが生き残るかを決定する仕組みです。

「これが私にとって、ソフトウェアの一部が生きた生物のように育てられる可能性を示す最初の瞬間でした。フィードバックを伴う変異と適応を通じて成長していくのです」と Sesh は振り返ります。

課題は、進化がその適応する環境の質に左右される点にあります。BitsEvolve のボトルネックもこのフィードバックループでした。そこでチームは、Kafka に匹敵するストリーミングサービス「Helix」を構築しました。Claude Code が建設の大部分を担当し、人間がそれを誘導する形です。

「信じられないことに、数日で Kafka に匹敵する完全な機能を持つシステムが完成しました」と Sesh は語ります。「構築も迅速でした。シャドウモードで運用を開始すると、コストを 2 倍から 5 倍削減できる可能性のある箇所が見つかったのです」

しかし、本番環境への導入にはさらに多くの時間と経験が必要でした。運用上の堅牢性は、単独の人物や短期間では得られず、時間をかけて複数の関係者によって築かれるものです。現在も展開は継続中です。

「ボトルネックが再び移動しました。エージェントはシステムの大部分を構築できるようになりましたが、人間のために設計されたツールやメカニズムを通じて作業を生産環境にリリースするには、依然として人間の調整が必要です」と Sesh は指摘します。

Datadog には、エージェントが検証済みでポリシー駆動型のランタイム環境内で独自にツールを構築できる仕組みが必要でした。そのランタイムこそが「Temper」です。

Temper

エージェントは、人間による手作業レビューよりも速くコードを生成できますが、間違いを犯すこともあります。

Sesh にとって、エージェントが生成したものと検証を通過するものの間に存在するギャップこそが、失敗モードが蓄積する場所です。しかし、従来のコードベースの周りにエージェントを巻き付けるだけでは、これは単なるスループットの問題として扱われ、検証のギャップそのものを埋めることにはなりません。

Temper はこの方程式を逆転させます。エージェントがアプリケーションコードを生み出すのではなく、仕様が生成されるのです。カーネルは各仕様を読み込み、4 層の分析を通じて検証し、その仕様が記述する実行システムを展開します。仕様は証明される対象であると同時に、実行される対象でもあるため、検証された内容と実際に稼働している内容との間に乖離（ドリフト）が生じることはありません。

「Temper はシステムの中心を変えるのです。エージェントは、それぞれの局所的なニーズに合わせてバラバラのツールを毎回発明する必要がなくなります。代わりに、意図や問題領域に対する正確な記述を仕様に生成します。これは、ネジ山の仕様を与えて工作治具や CNC 工作機械を使うのと全く同じ意味での『工作機械』です。極めて再現性が高く、それらを使って航空機や複雑なものを構築することも可能です」と Sesh は語ります。

つまりこの場合、エージェントが毎回最終的なメカニズムをその場しのぎで作り出すわけではありません。まず Temper（あるいは Temper に似た仕組み）と連携して正確な記述を生み出し、動作するものを作り上げます。その後、それを再現可能で検証可能、再利用可能な形に昇華させることで、コードベースの周りにソフトウェア工場を構築することが可能になります。

各機能は 3 つの契約によって記述されます：

Behavior: 状態、遷移、事前条件、そして維持すべき安全性プロパティ。

Data contract: エンティティタイプとそのプロパティ、各タイプがサポートするアクションを機械可読形式で公開し、エージェントがドキュメントなしで API 全体を発見できるようにする。

Authorization: デフォルトは拒否とし、スコープベースの承認を行う。拒否されたケースは保留中の決定として記録され、人間が承認してポリシーエンジンにホットロードできる。

すべての仕様はカーネルが読み込む前に 4 つの独立した層を通過する必要がある。記号的推論によって各ガードが充足可能であり、各不変条件が帰納的であることを証明する。網羅的な状態探索では到達可能なすべての状態を検証する。

決定論的シミュレーションでは、シード付きフォールトインジェクション（パケットのドロップ、遅延、順序入れ替え、クラッシュなど）を実際の生産環境コードパスで実行し、同じシード条件下で失敗が正確に再現されるようにする。

ランダム化プロパティテストでは約 1,000 個の擬似乱数アクションシーケンスを実行し、違反が発生した場合は最小の反例まで縮小する。小さな仕様の場合、この一連のプロセスは 1 秒もかからずに完了する。

Helix のダークファクトリー

Simon Willison が提唱した「ダークファクトリー」という用語は、人間が介在せずエージェントだけが仮想工場で作業を続けるソフトウェアプロセスを指す。Helix のダークファクトリーでは、Temper は 3 つの役割を担う。

これは、管理されたエージェントのためのエージェント制御プレーンです。セッション、ロール、作業キュー、ライフサイクルを統括します。ツールビルダー層として機能し、エージェントが SDLC ツール（Git、CI、デプロイ）と小規模な Temper アプリケーションをつなぎます。さらにHelix 制御 APIは、データプレーンを囲むライフサイクルのインターフェースであり、ワークロードを実行する役割を担います。

「驚きだったのは、これが単なるエージェントインフラを超えて、より汎用的なものに感じられた点です。目を細めて見れば、多くのソフトウェアは本質的にデータベース API 周りの制御ロジックに過ぎません。状態管理、変更に関するポリシー、ライフサイクルの遷移、外部システムとの連携などです。Temper は、私が述べたような形状を持つあらゆるソフトウェアに応用できるという意味で、普遍的なものになり得ます」と Sesh は語ります。

なぜ単なる CRUD アプリではダメなのか？

「Claude Code は [TypeScript や Python で CRUD アプリを] 非常にうまく構築できます。しかし、通常の CRUD アプリでは、制御ロジックがルート、データベース制約、サービスコード、バックグラウンドジョブ、ドキュメントに散在してしまいます。テストやカバレッジは充実していても、一般的には状態機械の形をとる運用モードは、コードベースの中に暗黙的に埋め込まれてしまっています」と Sesh は説明します。

「Temper は、その状態機械を明示化します。エージェントが生成するのは任意のコードではなく、正確な記述です。コンパイルステップは LLM の外側で行われます。これは、Rust コードを Rust コンパイラに渡すのと全く同じ仕組みです。遷移テーブルはデータとして扱われ、サービスメソッドの中に埋め込まれたスパゲッティ状の制御フローではありません。エージェントはこれを安全に変更し、CI を経由せずにホットリロードすることも可能です」と彼は解説します。

今後の展望

Temper の基本理念は、各アーティファクトを「頭の中で把握できるサイズ」に保つことです。航空や金融システムのような高信頼性ソフトウェアは数十年にわたりこのアプローチで構築されてきましたが、一般のソフトウェア分野では人間による厳密な管理コストが高すぎました。しかし、エージェントが導入されたことで状況が変わりつつあります。

産業革命が可能になったのは、工作機械によって部品を組み合わせ可能にし、検査・交換できるようにしたからです。これにより、より大規模で複雑な機械を次々と構築できるようになりました。

「もしエージェントがこのように厳格な規律を持って工場内でソフトウェアを自律的に構築できるなら、暗黙の工場（ダークファクトリー）に留める必要はないかもしれません」とセシュは語ります。「この方法で構築されたソフトウェアは、フィードバック、選択、適応を通じて成長・育成・進化させることができる生命体のように感じられるようになるでしょう」

Datadog が Claude Code 向けに「万能工作機械」を構築した方法について、ライブデモと詳細な議論は こちら のセッション動画でどうぞ。

Datadog は、一時的なエージェントツールを、セッションやチームを超えて蓄積・再利用可能な安全なコンポーネントへと変換する制約付きフレームワーク「Temper」の構築プロセスについて、より深く掘り下げた議論を展開しています。