マルチエージェント AI セーフティ研究への投資について
本文の状態
日本語全文を表示中
詳細モードで約5分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Google DeepMind
Google DeepMind が、複数の AI エージェントが協調する際の安全性を確保するための研究開発に資金を投入すると発表した。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
2026 年 6 月 11 日 責任と安全性
Google DeepMind、Schmidt Sciences、Cooperative AI Foundation、ARIA および Google.org
マルチエージェント世界における AI セーフティ研究のスケーリング
過去 10 年間、私たちは個々の AI モデルをより有能で、役立ち、安全なものにすることに注力してきました。本日、Google DeepMind は Schmidt Sciences、Cooperative AI Foundation、Advanced Research and Invention Agency と連携し、Google.org の支援のもと、世界中の研究者を対象とした最大 1000 万ドルの新たな技術研究資金助成を発表します。
AI テクノロジーがスケールするにつれ、私たちは新しい時代へと入りつつあります。まもなく、異なる組織によって構築された数百万の AI エージェントがデジタル環境を横断して相互作用し、互いに通信し、交渉し、取引を行うようになります。
これらのシステムが相互作用する際には、安全かつ予測可能に行われなければなりません。この転換は重要な機会を生み出します：私たちは最初から AI エコシステム全体の安全性と安定性を強化することができます。
今回の資金助成は、大規模なマルチエージェント AI システムがグループとしてどのように振る舞うか、また潜在的なリスクを理解し緩和するための枠組みをどう提供できるかを研究することに焦点を当てています。世界中の研究者に権限を与えることで、私たちは異なるネットワーク間で独立したシステムが相互作用する際に生じる「見えない」安全性リスクの解決を目指します。
エージェント生態系が重要な理由
大規模な AI エージェント群が相互作用する際、新たな集合的振る舞いや能力が突如として現れる可能性があります。現在、私たちはこれらの移行を予測・測定・監視するためのツールを持っていません。ほとんどの安全性評価はモデルを孤立した状態で分析しますが、私たちがや他の研究者が以前から主張してきたように、相互作用する自律型エージェントは予測困難な複雑で「創発的（emergent）」な振る舞いを生み出す可能性があります。
これは新しい研究領域であるため、これらの移行がどのように発生するかを理解することが極めて重要です。例えば、予期せぬ経済活動の激化を引き起こしたり、新たなセキュリティ課題をもたらしたりする可能性はないでしょうか？システム全体のこうした振る舞いをどう管理するかを理解することが、私たちの核心的な目標です。
多エージェント安全性研究の最前線の拡大
多エージェント安全性のための基礎的な枠組みは存在しますが、これらのシステムの急速な進化に対応するため、即座に大規模な研究拡大が必要です。
私たちの2025 年の研究はこれらの相互作用を理解するための枠組みを確立しましたが、最近の AI エージェントトラップ（AI Agent Traps） に関する研究では、敵対的環境においてエージェントが直面する脆弱性を探求しています。今こそ、より迅速に進む必要があります。多エージェント相互作用の複雑さが既存の安全性モデルを凌駕し始めている重要な分岐点に私たちはいます。
この資金提供要請は、独立した研究者たちのグローバルネットワークを支援することで進展を加速させることを目的としています。すべての人にとって安全基準が透明かつ堅牢であることを確保するためには、多様なコミュニティが不可欠です。
この取り組みはまた、シュミット・サイエンシーズの信頼できる AI の科学および AI エージェントプログラムの使命を推進するものであり、これらは最先端 AI システムからのリスクを理解し軽減するための基盤となる研究を支援しています。また、ARIA の信頼の拡大プログラムも同様に、新たな形態のサイバー・フィジカルなマルチエージェント協調を実現することを目指しています。
協力的な行動要請
単一のラボがマルチエージェントの安全性を一人で解決することはできません。私たちは学術機関および独立した研究者に対し、4 つの優先分野において提案書の提出を呼びかけます。
- サンクボックスとテストベッド：マルチエージェント安全性のすべての分野における評価、比較、および進展加速のために、現実的で再現可能な環境を構築すること。これには、仮想マーケットプレイス、シミュレーションされた生態系、および多組織ワークフローが含まれます。
- エージェントネットワークの科学：相互作用するエージェント集団の安全性に関連する性質を理解すること。これには、集合的な能力がどのように発生し拡大するか、ネットワークがどのように失敗または不安定化するか、そして危険で予期しない集団レベルの性質をどのように検出するかを探求することが含まれます。
- エージェントインフラの強化：クロスプラットフォームのエージェント相互作用のためのアイデンティティ、評判、コミットメントのプロトコルに対するストレステストの実施。
- 監視と制御：展開されたエージェント集団を監視し、大規模な集合的害を軽減するための手法の開発。
参加方法
私たちは研究者に対し、提案募集要項のレビューに参加し、マルチエージェント未来のための安全な基盤構築にご協力いただくよう呼びかけます。
応募締切は2026年8月8日で、受賞者の発表は2026年秋に予定されています。
技術要件および申請プロセスの詳細については、申請ポータルをご覧ください。
原文を表示
June 11, 2026 Responsibility & Safety
Google DeepMind, Schmidt Sciences, the Cooperative AI Foundation, ARIA and Google.org
Scaling AI Safety Research for a Multi-Agent World
For the past decade, we’ve focused on making individual AI models more capable, helpful and safe. Today, Google DeepMind — together with Schmidt Sciences, the Cooperative AI Foundation, the Advanced Research and Invention Agency, and supported by Google.org — is announcing a new technical research funding call of up to $10M for researchers worldwide.
As AI technology scales, we’re entering a new era. Soon, millions of AI agents — built by different organizations — will interact across digital environments, communicating, negotiating and transacting with one another.
When these systems interact, they must do so safely and predictably. This shift creates a vital opportunity: we can strengthen the safety and stability of the entire AI ecosystem from the very beginning.
The funding call focuses on the study of how large-scale multi-agent AI systems behave as a group, and how we can provide frameworks to understand and mitigate against potential risks. By empowering researchers globally, we aim to solve the “invisible” safety risks that arise when independent systems interact across different networks.
Why the agent ecosystem matters
When large groups of AI agents interact, new collective behaviors and capabilities can emerge suddenly. Currently, we lack the tools to predict, measure and monitor these transitions. Most safety evaluations analyze models in isolation. However, as we and others have previously argued, interacting autonomous agents can produce complex, "emergent" behaviors that are difficult to anticipate.
Because this is a new area of research, it is critical to understand how these shifts occur. For example, could they cause an unpredictable flurry of economic activity or lead to new security challenges? Understanding how to manage these system-wide behaviors is our core objective.
Scaling the frontier of multi-agent safety research
Although foundational frameworks for multi-agent safety exist, the rapid evolution of these systems requires an immediate, large-scale expansion of research.
Our 2025 research established a framework for understanding these interactions, while our recent work on AI Agent Traps explores vulnerabilities agents face in adversarial environments. Now, we must move faster. We are at a critical juncture where the complexity of multi-agent interactions is outpacing existing safety models.
This funding call aims to accelerate progress by supporting a global network of independent researchers. A diverse community is essential to ensure safety standards are transparent and robust for everyone.
This effort also advances the mission of Schmidt Sciences’ Science of Trustworthy AI and AI Agents programs, which support foundational work on understanding and mitigating risks from frontier AI systems, as well as ARIA’s Scaling Trust programme, which seeks to unlock new forms of cyber-physical multi-agent coordination.
A collaborative call to action
No single lab can solve multi-agent safety alone. We invite academic and independent researchers to submit proposals in four priority areas:
- Sandboxes and testbeds: Building realistic, reproducible environments to evaluate, compare and accelerate progress across all areas of multi-agent safety. This includes virtual marketplaces, simulated ecosystems and multi-organisation workflows.
- The science of agent networks: Understanding the safety-relevant properties of interacting agent populations, including investigating how collective capabilities emerge and scale, how networks fail or become volatile and how to detect dangerous, unexpected population-level properties.
- Strengthening agent infrastructure: Stress-testing the protocols for identity, reputation and commitment that are secure cross-platform agent interactions.
- Oversight and control: Developing methods to monitor deployed agent populations and mitigate collective harms at scale.
How to participate
We invite researchers to review our call for proposals and join us in building a safe foundation for a multi-agent future.
The deadline to apply is August 8, 2026, with awardees expected to be announced in Autumn 2026.
For more details on technical requirements and the application process, visit our application portal.
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み