動画記事 · AI Engineer
エージェントにトークンではなく予算を — アンソロピックのサチン・マルホトラ氏
AI Engineer動画 20分 / 読む 7分
#AI エージェント#セキュリティ#ガバナンス#レート制限#インフラ
動画の文字起こしと公開情報をもとにAIで要約・構成しています。 正確な発言は元動画と時間位置で確認してください。
30秒でわかる
トークンベースの権限管理ではなく、非対称な動詞、レート制限、トリップワイヤー、およびインフラ層によるアイデンティティ管理を組み合わせた予算モデルが、実環境における AI エージェントの安全運用に必要である。
この動画の3ポイント
非対称な動詞の選別
同じ動作でも結果の危険度が異なるため、失敗時に可視化される「大声で失敗する」動詞にはアクセスを許し、隠れたリスクがあるものは人間に委ねる。
リフィル可能なレート制限
権限の付与ではなく、時間窓ごとの使用量という予算（天井）を設定し、超過時は自動で拒絶するが、一定時間後にリセットされる仕組みを導入する。
トリップワイヤーによる監視
事前の許可リストではなく、エージェントの行動履歴を集計して異常を検知するトリップワイヤーを設け、事後に迅速な修正を行う。
なぜ重要か
この発表は、生成 AI エージェントが実社会のインフラで運用される際のセキュリティとガバナンスのパラダイムシフトを示唆している。従来の静的な権限管理から動的な予算管理へ移行することで、開発者はエージェントの自律性を損なわずに大規模事故を防止できる可能性が開かれる。
発言から確かめる
時間を選ぶと、元動画の該当箇所を開きます。
背景や実装の詳細まで読みますか？
約20分の動画を、約7分の記事で確認できます。
Original Source
元動画で発言を確認
プレイヤーは必要になるまで読み込みません。YouTubeのCookieと通信も再生を選ぶまで開始しません。