エージェントにトークンではなく予算を — アンソロピックのサチン・マルホトラ氏

エージェントに「トークン」ではなく「予算」を — アンソロピックが提言する、自律型 AI の安全な運用戦略

生成 AI エージェントのデモでは、神のような権限（God Token）を与えられて見事な成果を上げる姿が映し出されます。しかし、本番環境で実務規模の運用が始まると、この「Yes/No」型の静的な権限管理は脆いものだと判明します。アンソロピックのエンジニアであるサチン・マルホトラ氏は、エージェントに自律性を保ちつつ大事故を防ぐための新パラダイムとして、「トークンベースの権限」から「予算ベースの管理」への移行を提言しています。

本番環境で起きた「神のような権限」の悲劇

デモで見せるような完璧な動作は、実際のインフラ運用では必ずしも保証されません。マルホトラ氏が紹介したある事例では、エージェントが不要になったワークロードの整理を試みた際、フィルタリングの不具合により全リソースを誤って削除する事故が発生しました。

90秒で200ものワークロードが消え、約20名のエンジニアの作業や、チェックポイントのない長時間実行中のトレーニングジョブが失われました。悪意はなかったものの、エージェントは「片付け」を行っていると信じていたのです。

この事故の本質は、モデルそのもののバグではなく、「人間が見守っていない状態で、無制限の権限を与えてしまったこと」にあります。新人エンジニアをチームに迎える際、私たちは彼がすべてのキーボード操作を監視するわけではありません。しかし、重大なミスを防ぐための「昇進パス（エスカレーション）」や、構造的に危険な操作へのアクセス制限は用意されています。AI エージェントも同様に、人間と同じように「オンボーディング（初期設定）のチェックリスト」をポリシーとして適用すべきなのです。

トークン管理の限界と「予算」という概念

従来のトークン管理は本質的にブール値（Yes/No）です。「権限があるか、ないか」の二択であり、スコープが狭すぎればエージェントは機能せず、広すぎれば事故のリスクが高まります。これに対し、「予算（Budget）」という概念には4つの次元があります。

1. 何ができるか（動作の種類）
2. どれくらいの速さでできるか（レート制限）
3. 誰がそれを元に戻せるか（Undo の権限）
4. 誰がその行動を監視しているか（監査とトリップワイヤー）

この4つの要素が、Yes/Noの問いに代わり、エージェントの自律性と安全性を両立させます。

1. 「非対称な動詞」の選別：大声で失敗する動作だけを与える

リソース（ファイルやデータベースなど）ではなく、「動詞（操作）」そのものに焦点を当てることが重要です。同じサイズの操作でも、失敗した際のリスクは大きく異なります。

• 大声で失敗する動詞：テストの再実行（unskip）やアラート通知（paging）など、失敗するとシステムが赤くなり、人間がすぐに気づいて修正できる動作です。これらはエージェントに許可すべきです。
• 静かに失敗する動詞：テストをスキップ（skip）するなど、失敗してもシステムが正常に見えるため、バグが本番環境へ漏れるリスクがある動作です。これらは人間が行うべきであり、エージェントには与えてはいけません。

「unskip」と「skip」は同じ操作に見えますが、前者はダッシュボードで即座に可視化されるのに対し、後者は重大なバグを隠蔽する可能性があります。エージェントには『大声で失敗する』動詞のみを与え、リスクの高い動作は人間に委ねるのです。

2. リフィル可能なレート制限：天井のある自律性

権限の付与ではなく、「時間窓ごとの使用量」という予算（天井）を設定します。エージェントはこの範囲内であれば、承認待ちや待機なしで自由に行動できます。しかし、上限を超えたリクエストは自動的に拒絶されます。

重要なのは、この制限が一定時間後に「リフィル（再充填）」される点です。例えば、特定のワークロードの削除には「1時間に5件まで」という制限を設けます。もしエージェントが緊急に10件削除したい場合、システムは「上限を超えたため実行不可」と返し、代わりに人間への依頼を促します。

本番環境での事故後、チームは承認フック（admission webhook）を導入し、名前空間ごとに削除数を固定しました。重要なのは、この制限を回避する機能（バypass flag）がエージェントには存在しないことです。エージェントは「人間に頼む」ことしかできず、人間だけが最終的な権限を持ちます。

3. トリップワイヤーによる監視：事前の許可リストではなく事後の検知

「許可リスト（Allow List）」は、事前にモデルやエージェントの行動を予測して作成する静的なルールです。一方、「トリップワイヤー」は、実際の行動履歴を集計・分析して異常を検知する動的な仕組みです。

安価な操作についてはエージェントに任せて記録し、その集約データを見て「通常と異なるパターン」が検出されたらアラートを発します。レート制限が「実行の強制」であるなら、トリップワイヤーは「発見と反応」のためのものです。

4. インフラ層によるアイデンティティ強制：エージェント自身に権限を持たせない

最後に重要なのが、プロキシ層（中間層）によるアイデンティティの強制です。エージェント自身が自分の身元（クレデンシャル）を設定したり、改ざんしたりできないようにします。

すべての操作は、真の人間やシステムのクレデンシャルに基づいてスタンプが押され、代理として実行されます。これにより、エージェントが権限を回避して危険な操作を行おうとするのを防ぐことができます。監査証跡（Audit Trail）も、エージェント自身ではなく中間層によって管理されるため、信頼性が担保されます。

まとめ：自律性と安全の両立への道

生成 AI エージェントを実社会で運用する際、従来の「権限があるかないか」という二項対立から脱却し、「予算（制限と監視）」という多面的なアプローチへ移行する必要があります。非対称な動詞の選別、リフィル可能なレート制限、トリップワイヤーによる監視、そしてインフラ層によるアイデンティティ強制。これら4 つの要素を組み合わせることで、エージェントは自律的に作業を進めつつ、重大な事故を防ぐための構造的な安全装置が機能するようになります。