完了の定義とは？AI エージェントとペーパークリップの生存モデル

AI エージェントの「完了」は嘘か？Paperclip が提唱する、信頼できる自律システムの設計原則

AI エージェントが生成したコードやドキュメントを「完了」と判断する際、単なるチェックボックスのオンオフで済ませるのは危険です。生産性が人間の検証速度を超えた現代において、「完了」を多層的に定義し、自動化と品質保証のバランスを取る新たなプロトコルが必要不可欠となっています。

「完了」は単なるステータス更新ではない

多くの AI エージェントシステムでは、タスクが終了すると緑色のチェックマークがつき、それが「完了」とみなされます。しかし、これは本質的に異なる複数の要件を無理やり一つにまとめた扁平化された状態です。

プルリクエストを開き、テストに合格し、ドキュメントを更新してイシューをクローズしたからといって、本当にデプロイや顧客発表に耐えうる「完了」なのでしょうか？

Paperclip の創設者である Dota 氏は、「完了」とは単一の事実ではなく、複数の主張（アサーション）の束として扱う必要があると指摘します。真の完了には、以下の要素がすべて揃っている必要があります。

• 成果物の存在: 実際に何かが作られたか。
• 証拠: タスクが完了したことを証明するデータがあるか。
• 基準: 検証するための明確なルールや評価基準は用意されているか。
• 承認者: その決定に責任を持てる人物（または権限を持つエージェント）がいるか。
• リスク: その決定に伴うリスクは誰が引き受けるのか。

生産者が「完了した」と主張しても、レビューアーが別の視点で検証し、基準を満たしていることを確認するプロセスが必要です。承認権限を持つ者が責任を持って署名し、結果が現実世界の条件でも耐えうるかを確認することが求められます。

人間の限界と完全自動化の罠：バランスの取り方

「完了」を厳密に定義すればするほど、新たな課題が生じます。一つはボトルネックの問題です。

エージェントは人間が検証できる速度よりも遥かに速くコードやドキュメントを生成してしまいます。1 日に数タスクなら人間による完全な検証も可能ですが、大量処理では不可能です。

すべてのタスクを人間が手動でチェックし署名すれば、最終的に得られるのは「検証の演技」に過ぎません。逆に、人間の介入を完全に排除して自動化すれば、品質管理なしに大量のゴミ（AI のゴミ）が生成されるリスクがあります。

ここで重要になるのが「生存性（Liveliness）」と「検証（Verification）」のバランスです。

• 生存性: 作業が停滞せず、常に進行中であること。ブロックされない状態を維持すること。
• 検証: タスクが正しいことを保証するために、一定のチェックや承認プロセスを経ること。

この二つはトレードオフの関係にあります。人間によるレビューは正しさを保証しますが、タスクの進行を停止させる（死なせる）要因にもなります。一方で、承認なしにタスクを進めすぎれば品質は崩壊します。必要なのは、演劇ではなく、「作業が動き続けることを保証しつつ、無効な状態には陥らないようにする制御平面」です。

Paperclip が実装した 3 つの解決策

この緊張関係を解消し、自律的な AI エージェントを安定運用させるために、Paperclip は以下の仕組みを実装しています。

1. 明確な状態遷移とブロック管理

タスクは単なるループではなく、「次の状態が何であるか」が明確に定義された状態遷移として扱われます。システムにはファーストクラスのブロッカー（停止要因）を持ち、コントロールプレーンがこれを強制します。

タスク依存関係のツリーや、複数エージェント間のロックなどを統合すると、活気と検証の間の緊張関係は非常に複雑になります。それを管理するために、明確な状態遷移が必要です。

2. ウォッチドッグによる強制実行

「できる限り努力して目標を達成する」ことを保証するためのウォッチドッグ（監視役）という概念を導入しています。これは特定の AI モデルに依存しない（モデル・アゴスティック）仕組みで、Pi や Claude Code、Codex など何を使っていようとも、目標が完了したと判断されるまで全エージェントを強制して働かせます。

3. 検証者と著作者の分離

最も重要なのは、「書く人」と「検証する人」を明確に分離することです。多くの場合、これは異なる AI モデルを使用することを意味します。

Claude でコーディングするなら、Codex に検証させましょう。エージェントに対して証拠（ツール実行の結果やスクリーンショット）を提示させるよう指示してください。「完了しましたか？」と聞くだけでは不十分です。

検証者と著作者を分離し、カスタムツールやフックを使って実際にボタンをクリックしたり、ブラウザで動作確認を行ったりする「証拠連鎖」を確保することが、信頼性の鍵となります。また、各エージェントはタスク完了時に「次に誰に引き継ぐべきか」を明確に理解している必要があります。

まとめ：チェックボックスからオブジェクトへ思考を変えよう

AI エージェントの自律運用において、品質と速度の両立は不可能ではありませんが、そのためには「完了」を単なるブール値（真偽）として扱うのをやめ、複雑なオブジェクトとして定義し直す必要があります。タスクごとに完了の定義を詳細に定め、検証者と著作者を分離し、証拠を要求するプロトコルを導入することで、エンタープライズレベルでの信頼性を担保しつつ、大規模なタスクフローを停滞なく進行させることが可能になります。