コーディングエージェントが必ずしもルールに従わない - Checkout.com のタールハ・シェイク氏

AI エージェントは「完了」を嘘つく？信頼性を担保する新パラダイム「Harness Engineering」とは

Claude Code などの最新コーディングエージェントにタスクを与えれば、完璧なコードが完成すると信じている開発者は多いかもしれません。しかし、現実はそう単純ではありません。エージェントが「タスク完了」と宣言しても、実行時には微小なエラーが発生し、結局は人間が検証層として介入せざるを得ないのが実情です。

この課題に対し、Checkout.com のタールハ・シェイク氏は、モデルの能力向上やプロンプトの質を高める従来のアプローチに依存するのではなく、「検証（Verification）」を最優先する「Harness Engineering（ハルネスエンジニアリング）」へのパラダイムシフトを提唱しています。業界全体が「指示を出すこと」から「実行をチェックすること」へと重心を移している今、開発者が注力すべきはコード生成そのものではなく、確定的なテストやフィードバックループの設計にあるのです。

エージェントの「完了宣言」は信頼できるか？

Claude Code などのマルチエージェントシステムは、タスクをサブタスクに分解し、複数のエージェントが協調して作業を進める様子が非常に魅力的です。ユーザーは「よし、これで完成」という宣言を受け取り、満足感を得るでしょう。

しかし、実際にコードを実行するとどうなるでしょうか？

「あれ？何か失敗したみたいだ」

タスク完了と宣言された直後に、微小な要素の欠落や実行エラーが見つかるケースが頻発します。そのたびに開発者は「この部分を直して」「もう一度試して」と指示を出し続ける必要があります。

シェイク氏はこの状況をこう分析します。人間が常に「執行層（Execution Layer）」として機能しているのです。エージェントに具体的な何をすべきか、どのように実施するべきかを指示し続け、最終的に人間自身が確認を行うという構造は、本質的に非効率です。

「私が求めたのは非常に決定論的な仕組みでした。エージェントが完了したと報告したら、その実施層が実際に完了しているかどうかを決定論的に確認する仕組みです。」

モデルの出力に「本当に完了したのか」「私の意図通りなのか」を確認するためには、人間の直感や経験に頼るのではなく、機械的に検証できる仕組みが必要です。

能力向上より「検証（Harness）」への転換

この問題に対する解決策として、シェイク氏は独自のプロダクト「Vector V1」を構築しました。これは Claude Hooks を活用し、セッションが終了するたびに自動的にテストを実行する仕組みです。

設定ファイルにすべてのテストケースを定義しておき、エージェントが出力したコードに対して決定論的なチェックを行います。もしテストに失敗すれば、その結果を即座にフィードバックとして返し、「見て、これが失敗しているよ。もう一度やって」と指示します。

このアプローチの核心は、モデル自体の能力やプロンプトの質を極限まで高めることよりも、「確定的なテストケースによる検証（Harness）をいかに構築するか」にあります。

「重要なのは Claude が実際にタスクを実行できるかどうかではなく、信頼の問題です。」

シェイク氏は Anthropic のエンジニアや OpenAI 関係者とも議論しましたが、彼らは「新しいモデルが発表されれば能力は向上し、最終的に人間による強制は不要になるはずだ」という楽観的な見解を示しました。しかし、シェイク氏はこれに異を唱えます。

「新しいモデルが発表されると、能力は向上するが、それが必ずしも信頼性と同じ意味ではない。」

確かにモデルの性能は向上しますが、それが「信頼性の欠如」を自動的に解決するわけではありません。どんなに高度なモデルや優れたプロンプト（指示）を使っても、最終的な実行結果を検証するレイヤーがなければ、エラーは発生し続けます。

大手企業が採用する「検証層」の構築

この洞察は、業界全体で共有されつつあります。Anthropic や OpenAI、Meta などの大手企業も、独自の検証パターンを採用し始めています。

• Anthropic の「Executed Advisor（実行アドバイザー）」: コード作成を行うエージェントと、その結果を検証するアドバイザーが連携する仕組みです。両者がフィードバックループを形成することで、信頼性を高めています。
• OpenAI の「Harness Engineering」: エージェントに多くのタスクを与えつつ、異なるツールや文脈を提供して動作を検証する方法論です。ここでのハルネス（検証層）の役割が明確化されています。
• Cudo や他の企業: 包括的なコードレビューや PR レビューを自動化し、エージェントが完了したとしても信頼せず、厳格なチェックプロセスを設けています。

「Anthropic は『実行アドバイザーパターン』を発表しました。OpenAI も独自のハーンジーニアリングを構築しました。Meta も同様です。」

各社が独自の実装を行っていますが、本質的な共通項は「指示を出すこと」ではなく、「検証を行うこと」に価値を見出している点です。

開発者が注力すべきは「コード生成」から「ハルネス設計」へ

シェイク氏は、この動きを「地獄のようにゆっくり進む必要がある」と表現しています。これはエージェントがコードを生成する速度が遅いからではなく、検証レイヤーの重要性が増しているからです。

従来の開発では、「価値は作成したコードにある」と考えられていました。しかし今、真の競争優位性は「設計した検証」にあります。つまり、モデルがどれだけ速くコードを書けるかではなく、そのコードが確実に動作するかを検証できるシステムをいかに構築できるかが問われているのです。

このパラダイムシフトにより、以下のメリットが生まれます。

1. コスト削減: 高価なフロンティアモデル（Opus など）を使わずとも、小さなモデルやオープンソースモデルにガードレール（検証ルール）を適用すれば、コストを劇的に削減できます。
2. 非同期処理の活用: 検証レイヤーを設計することで、並列処理や非同期タスクを安全に実行できるようになります。
3. 汎用性の向上: 特定のモデルや言語に依存しない「契約（Contract）」として検証ルールを定義すれば、あらゆるレベルで動作する信頼できるシステムが構築可能です。

「コードではなくハーンネスに注力してください。つまり、検証システムに取り組むのです。」

開発者は今、コードを書くことよりも、確定的なテストスイートやフィードバックループを設計する「ハルネス構築」にリソースを割くべき時が来ているのです。

まとめ

AI エージェントの導入において最大のボトルネックは「信頼性の欠如」です。タールハ・シェイク氏が提唱する Harness Engineering は、モデルの能力向上に期待するのではなく、人間が設計した確定的な検証レイヤーによって信頼を担保するという現実的な解決策を示しています。

業界全体が「指示より実行チェック」へとシフトする中、開発者が目指すべきは、単なるコード生成者ではなく、「検証システムを設計するエンジニア」としての役割への転換です。これが、AI エージェントを本格的に生産環境で活用するための鍵となるのです。