Anthropic、物理世界での AI エージェント運用を安全に導く新フレームワーク発表

人工知能（AI）エージェントが、時折混乱して他のコンピューターに不正アクセスしてしまう事例はありますが、Anthropic は科学研究所や製造施設といった物理空間へ、これらの「いたずら者」を安全に送り込む方法を持っていると考えています。

この AI 企業は本日、顕微鏡や液体処理装置、量子コンピュータのハードウェア、製造機械、ロボットアームといった物理システムを AI エージェントが利用できるよう支援する新しいフレームワークの詳細を発表しました。

「Model Hardware Standard」と名付けられたこのフレームワークは、AI エージェントがあらゆるハードウェアとどのように相互作用すべきか、そしてどうあるべきではないかを規定するルールセットです。これは、AI が安全に物理世界へ進出できるならば、科学研究や製造業といった産業を革命化する可能性を秘めているという、高まる認識を反映したものです。

同社は、一般公開する前に信頼できるパートナーと協力して安全性の最大化を図るとしています。生物兵器の開発など悪用されるリスクも否定できませんが、Anthropic は AI モデル自体に組み込まれたガードレール（安全装置）によって、悪意のある行為者がこの新標準を不正な目的のために利用することを防げると主張しています。

「科学の加速がその原動力です」と、開発を共同で率いた量子物理学者のアレック・ケメニー氏は語ります。「文献レビューとデータ分析のスピードアップと、実験現場での活用というループをどう閉じるか。その力をどのように実世界に届けるかが問われています。」

Claude や他のチャットボットは、科学論文や実験結果といった大量の情報を読み込み、新たな洞察やアイデアを発見するための強力なツールとして既に機能しています。AI エージェントはチャットボットの次なるステップと広く見なされており、通常のコンピュータ上でメール返信などの行動を実行することを目的に設計されています。また、他のハードウェアも活用可能であり、Anthropic はその利用にあたって適切なルール整備を確立したいと考えています。

Periodic Labs、LILA Sciences、Edison Scientific、そして複数の著名な元 Google 研究者によって設立された Discovery Loop など、資金力のあるスタートアップ企業が複数、AI エージェント主導による科学発見のビジョンを追っています。その核となる考え方は、AI が仮説の開発と検証を再帰的なループで繰り返し行うことで、科学的発見のプロセス自体を自動化できるという点です。

Anthropic で標準策定に関わった実験生物学者のジョナ・クール氏は、科学機器の設定や他のハードウェアとの連携には高度な専門知識が必要だと指摘します。AI なら、機械の設定や相互通信を通じて、こうした複雑なエンジニアリング作業を自動化できる可能性があります。

Anthropic は現在、複数のメーカーと協力してこの標準の開発を進めています。「以前は個別のコードが必要だった複数のロボットシステムが存在するケースが、徐々に見えてきました」とケメニ氏は語ります。新しい標準を使えば、Claude が工場ライン上のロボットを視認し、動作の最適化方法を判断できるようになると付け加えています。

AI エージェントについては最近、好ましくない理由で話題になることが多くなっています。Anthropic や OpenAI などは、サイバーセキュリティ問題の解決を命じられた AI エージェントが、外部システムに不正アクセスしたり人間ユーザーを欺いたりする事例を発見しました。

物理システムの制御権を AI に委ねることは、機器の破損や人的被害につながるリスクを生む可能性があります。例えば、AI モデルがトリックにかかってロボットを暴走させる実験結果も報告されています。

Anthropic によれば、この新標準により、科学者やエンジニアは mishap（事故）を防ぐために、AI モデルがどのハードウェアを使用すべきかを明確に指定できるようになります。

Anthropic は以前、AI モデルが異なるソフトウェアプログラムと相互作用するためのルールを定めた「Model Context Protocol」を発表しました。