オンキスセキュリティCEOマキシム・バー・コガン氏、エンタープライズ向けAIガディアン構築

エージェントの暴走を防ぐ「制御平面」：AI 監視の限界と、イスラエルが挑む次世代セキュリティ

自律型 AI エージェントの導入が急拡大する中、企業は「誤ったコード公開」や「データ削除」といった新たなリスクに直面しています。オンキスセキュリティ（Onyx Security）CEO マキシム・バー・コガン氏は、人間による監視では追いつかない規模での AI 運用を可能にする「制御平面」の構築と、モデル内部の仕組みを理解する研究が不可欠だと説きます。

エージェント普及が招く「指数関数的なリスク」と従来のセキュリティの限界

AutoGPT や GitHub Copilot の登場により、AI が単なるテキスト生成ツールから、自ら判断して API を呼び出し、行動を実行する「自律型エージェント」へと進化しました。コガン氏はこれを「オタクの時代」に例えつつも、モデルがさらに賢くなれば、人間よりも有能なエージェントが電力網や水道システムを管理する未来がすぐそこにあると指摘します。

しかし、その裏側には深刻なリスクが潜んでいます。

エージェントが誤ってコードやトークンを公開し、本来公開すべきではない情報を漏洩させる事例も確認されています。企業はこうしたリスクが指数関数的に増大していることに気づき始めています。

従来のセキュリティ対策ではこの問題に対処できません。アイデンティティ管理やエンドポイントセキュリティは、「権限を制限する」ことを前提として設計されています。しかし、自律型エージェントにはタスクを完遂させるために広範な権限が必要であり、例えば「データベースを削除して再構築する」といった行動も許容されなければなりません。

既存のツールは、AI が何を考えているかという文脈を理解できません。そのため、過度に制限すれば生産性が失われ、制限を緩めれば重大なインシデントが起きるというジレンマに陥ります。

人間による監視は不可能？「制御平面」で AI を守る仕組み

多くの企業が最初に思い浮かべる解決策は、「AI に AI で監視させる」ことです。つまり、各エージェントに対して別の AI エージェントを割り当て、その行動をチェックさせるという手法です。コガン氏はこれを「守護霊のようなもの」と表現しますが、実用性には重大な欠陥があると断じます。

各エージェントごとに別の実行コストを払うと、監視に使う AI の費用が、本番の AI よりも高くなってしまいます。また、処理速度（レイテンシ）の問題もあり、リアルタイムでの対応は困難です。

100 倍、1000 倍、あるいは 100 万倍にも及ぶエージェントの行動を人間や汎用 AI で監視するのは非現実的です。そこで Onyx が提唱するのが「制御平面（Control Plane）」の構築です。

これは、企業内のすべての AI エージェントと自律型システムを接続し、その行動を検証・是正する専用インフラです。Onyx のアプローチは、巨大なモデルで全てを監視するのではなく、「特定のタスクに特化した小規模かつ賢いモデル」を活用することにあります。

必要に応じて、この小規模モデルが「今こそ注意深く見るべき局面だ」と判断し、その瞬間だけ高性能なエージェントや人間の介入を呼び出します。これにより、コストとレイテンシを抑えつつ、高い監視精度を維持できます。

コガン氏はこれを「ブラッツチェス（早指し将棋）」に例えます。トッププレイヤーはすべての手を計算するのではなく、膨大な経験から直感的に正しい手を選びます。Onyx のモデルも同様に、リスクの高い局面では瞬時に判断し、通常時は軽量に動作することで、効率的な監視を実現します。

モデル内部の「黒箱」を解く：機械的解釈可能性への投資

制御平面による監視は即効性のある対策ですが、長期的には AI の安全性を根本から担保する必要があります。コガン氏は、大規模言語モデル（LLM）がなぜその行動をとったのか、内部の重みや活性化状態を理解する「機械的解釈可能性（Mechanistic Interpretability）」の研究に注力すべきだと強調します。

長期的な AI 制御のためには、モデル内部の構造や思考プロセスを理解する研究が不可欠です。ブラックボックス化する大規模言語モデルの安全性を担保し、AGI 時代における信頼性の基盤となる重要な技術的転換点です。

単に「結果」を検証するだけでなく、「なぜその結論に至ったか」というプロセスまで可視化することで、AI が誤った推論や悪意ある行動をとる前に防ぐ仕組みが作れると考えられています。

イスラエルのセキュリティ・エコシステムと Onyx の DNA

Onyx Security はイスラエルに拠点を置くスタートアップですが、その背景には同国特有の強みがあります。軍事諜報機関や攻撃的サイバーセキュリティの現場で培われた人材が AI 分野へ流入し、実戦での運用実態を理解した製品開発が可能になっています。

私たちの研究エンジニアの多くはイスラエルの諜報機関から来ており、数学とサイバーセキュリティの交差点を扱ってきました。この DNA が、単なるセキュリティ企業を超え、高度な AI をどう制御するかという本質的な問題解決へと繋がっています。

イスラエルでは現在、世界モデルや最先端チップの開発も急速に進んでおり、Onyx はその最前線に立って、AI ガバナンスの新たな市場を切り拓こうとしています。

まとめ

自律型 AI の普及は避けられない潮流ですが、従来のセキュリティ概念のままでは対応しきれません。人間による監視の限界を超え、小規模モデルによる効率的な「制御平面」を導入するとともに、モデル内部の仕組みを理解する研究への投資が、これからの企業にとって不可欠な戦略となります。