Box、AI エージェントの振る舞い制御が重要と報告

Box 社提供

エンタープライズ AI エージェントのセキュリティにおいて、ID や権限だけではもはや不十分です。これらはエージェントが到達できる範囲を制御するものですが、自律的に動作を開始した後の振る舞いまでは管理できません。自律型エージェントは、数秒で企業のデータに対する正当なアクセス権を意図しない行動に変えてしまう可能性があります。このギャップにより、エンタープライズ AI セキュリティの焦点は単なるアクセス制御から、実行プロセスも統制する多層防御アプローチへと移行しつつあります。Box のチーフインフォメーションセキュリティオフィサー（CISO）、ヒーター・セイル氏はこう指摘しています。

「アクセス制御と権限管理は基盤となる要素ですが、課題はその設計が人間向けだった点にあります」とセイル氏。「権限管理の重要性は変わりませんが、エージェントに与える権限をどのようにスコープ（範囲）設定するかについても考える必要があります。」

アクセス制御は、ゆっくりとした、より寛容な世界のために作られました。そこでは、10 年前のフォルダへのアクセス権を保持し続けている人間従業員が、その中にあるデータをわざわざ探しに行ったり、自分がアクセス権を持っていること自体を忘れたりすることは稀です。しかし、エージェントはそのすべての権限を探索し、人間には到底及ばない規模で動作します。そのため、忘れ去られた設定ミスや期限切れの権限を、人間よりもはるかに速く表面化させてしまいます。

ただし、ID とスコープされた権限は、いかなる信頼できる防御策においても最初の層であり続けます。なぜなら、エージェントの登場によりリスクが高まっているからです。アクセス権の管理（クリーンなアクセス衛生）は、これまで以上に重要になっています。

ここ数ヶ月、連続して発生したインシデントは、AI エージェントが本来閉じ込められるべきサンドボックスから抜け出し、アクセス権限のないシステムに侵入したり、許可されていないコンテンツを読み取ったりすることで、甚大な被害をもたらす可能性を浮き彫りにしています。具体的な事案は様々ですが、根底にある脅威は共通しています。「エージェントが到達可能なデータの経路を見つけ、それを利用した」という点です。

アクセス制御だけでは自律型 AI エージェントのセキュリティは担保できません

エージェントに広範なワークフローに対応するための包括的な権限が付与されると、複雑さが増します。あるタスクを完了する過程で、50 個ものツールを呼び出し、20 の異なるアクションを実行し、社内の全部署にまたがるフォルダの読み書きを行う必要があるケースも正当なニーズとして存在します。しかし、こうしたアクセス権限を一度にすべて付与すると、万が一のステップミスが発生した際に、データやコンテンツへの被害範囲（ブラスト・レイジ）が膨らんでしまいます。Ceylan 氏は、より強力な権限モデルでは「必要な瞬間のみ」にアクセスを許可すべきだと指摘しています。

「エージェントが何を行うよう命じられ、いつその行動を取る必要があるかによって、権限は動的に変化するべきです」と彼女は説明します。「1 つのステップを実行する際に必要なのは 2 つのツールだけなら、権限はその 2 つに限定されるべきです。エージェント眼前のタスクに合わせて権限を絞り込めば、各ステップが誤作動を起こす可能性も同時に縮小されます。」

アクセス制御から実行制御へ

厳格なセキュリティはもはや、エージェントが特定のデータにアクセスできるかどうかだけでなく、特定のステップで特定の行動を取るべきかどうかにかかっています。これは恒久的なアクセス権限と、制限された権限の違いです。つまり、エージェントが財務フォルダへの正当な権利を持っていても、指示されたとしても、そのファイルの 4,000 件を新しい場所に書き込むような業務はあり得ません。

「給与データにアクセスできる従業員が、本来保持すべきでないデータを取得し、それをパブリック共有フォルダに書き込むよう指示されれば、一瞬で会社の全社員の報酬情報が公開されてしまいます」と彼女は指摘します。「すべてのアクセスチェックを通過しても、その行動は壊滅的な結果をもたらすのです」。

プロンプトだけではエージェントの行動を確実に制御できません。指示は変更される可能性があり、エージェントが注入された指示を吸収したり、途中で読み込んだファイルによって誘導されたりするからです。耐久性のあるコントロールは、ツール呼び出し自体と、それらが作用するコンテンツの中に、一つ下のレベルで実装される必要があります。プロンプトがどのように操作されていようとも、エージェントが実行できることを事前に決定しておくことで、どんな巧妙な入力でも外に出すことのできない固定された範囲内に行動を留めることができます。

レガシーなコンテンツプラットフォームは AI エージェント向けに設計されていない

企業が内部で扱うエージェントの活動対象の多くは、契約書やポリシー、顧客記録など非構造化されたコンテンツです。これらは企業データ全体の圧倒的多数を占める蓄積ファイル群です。しかし、その多くはまだ人間によるファイル管理習慣に合わせて設計されたシステムに置かれています。ネットワークドライブ、老朽化した ECM プラットフォーム、そして多くの SaaS ツールが該当します。

これらのシステムは「この人物に権限があるか？」という問いに答えるために作られており、その回答もフォルダレベルのアクセス権限に基づいています。しかし、その権限設定は何年も監査されていません。

レガシーなプラットフォームには、エージェントが推論するためのメタデータも存在せず、執行層が行動を起こすための分類情報もありません。また、ログの詳細度も不十分で、エージェントが何を閲覧したかを示すことができません。Ceylan 氏によれば、このスタックに AI コネクタを付け足しても問題は解決しません。むしろ、エージェントに同じ盲点を与えているだけですが、速度だけが機械レベルに向上するだけです。

「すべてのエージェントの行動は最終的にコンテンツに帰着します」と Ceylan 氏は言います。「コンテンツ層が、自分が保持しているものが何か、誰のものか、そして決して外に出してはいけないものを示せないなら、その下の制御機能は何も意味を持ちません。」

AI のアクションに人間の承認が必要かどうかをどう決めるか

2 年前は、セキュリティとは常に人間をループに含めることだと誰もが考えていました。しかし、エージェントの構築と運用を通じて、この前提は変わりました。Ceylan 氏によると、Box では現在、アクションを 3 つのティアに分類しています。

• 完全自律型アクション
• 監視付きアクション
• 人間の承認が必要な高リスクアクション

完全自律的な実行は、取り消し可能で範囲が限定され、ログに記録され、信頼できない入力がない場合、かつ失敗しても大きなコストを伴わない場合にのみ許可されます。

監視が必要なアクションは、チームがエージェントに対して十分な信頼を築き、実行中の問題を検知して巻き戻せるアラートとロールバック機能を連携させた後に実施します。

取り消し不可能でリスクの高いアクションは、常に人間の承認を経由する必要があります。例えば、大量のファイルを削除したり、フォルダ構造内の主要フォルダを完全に削除しようとするエージェントの場合が該当します。

各チームは、自社の許容リスクに合わせてこれらの層の境界線を調整する必要があります。

Box のアプローチは、ワークフローではなくプラットフォーム側に制御を実装することです。データ分類、ラベル付け、有効期限の設定といった保護措置を、すべてのアクションで人間のチェックポイントを設けることなく強制します。

「適切な設定は最初に行うべきであり、最後にアクションをブロックするのではなく」と Ceylan は述べています。

行動の積み重ねを通じて AI エージェントへの信頼を構築する

組織がアクセス権限を一度決定することは可能ですが、エージェントの行動に対する信頼は、その実行方法や他者との協働、他のエージェントの出力を活用して成果を積み上げる様子を観察しながら、時間をかけて築くべきものです。既存のパブリッシュされたフレームワークは技術の進化に遅れをとるか、実装が困難なほど抽象度が高すぎる傾向があります。そこで Box は、より限定的な原則セットに基づいてアプローチしています。つまり、エージェントのアイデンティティと実行範囲を厳密に限定し、巻き戻しが可能な範囲を明確に定義し、3 つの承認階層を設け、チームが迅速にテストと改善を繰り返せる仕組みを提供することです。

「安全な実験の道筋こそが、最速の道筋でなければなりません。チームに安全な実験方法を与えられなければ、彼らは制御を迂回してしまいがちだからです」とセイルラン氏は語ります。「セキュリティリーダーの役割は、ガードレールを外れることなく素早く進める手段を提供することにあります。」

エージェントへの信頼を維持するには、その実際の振る舞いを可視化できることが不可欠です。しかし、従来の監視ツールはこの目的には設計されていませんでした。ユーザーやエンティティの行動分析（UEBA）を支える行動ベースラインは人間の活動に最適化されており、不審なエージェントの振る舞いは必ずしも人間のような活動とは見えないのです。

有用なエージェントのベースラインを確立するにはログ取得が第一歩ですが、多くのエージェントは実験として始まるため、その行動がログインフラストラクチャに記録されることはありません。また、重要なシグナルは単一のアクションではなく、あるエージェントの出力が別のエージェントの入力となるなど、システム間を横断する一連の活動であることがほとんどです。そして、そのようなパターンの検出手法はまだ設計段階にあるのです。

つまり、エージェントを統制するには、アクセス権限だけでなく、実際に何を行っているかという可視性が必要であり、その可視性はコンテンツが存在する場所になければなりません。

スポンサード記事は、投稿料を支払っている企業またはベンチャービートとビジネス関係にある企業が制作したコンテンツであり、必ず明確に表示されています。詳細については sales@venturebeat.com までお問い合わせください。