最先端AIの構築とテスト方法のスケーリング
Meta AI は、高度なAIモデルの安全性と信頼性を確保するため、リスク評価範囲を拡大した「Advanced AI Scaling Framework v2」および「Safety & Preparedness Report」を導入し、自律性や制御喪失リスクへの対応を強化しました。
キーポイント
Advanced AI Scaling Framework の更新
既存のフロンティアAIフレームワークを大幅に改訂し、化学・生物兵器、サイバーセキュリティ、そして新たに「制御喪失（loss of control）」リスクの評価項目を追加しました。
安全性と準備状況レポートの導入
Muse Sparkなどのモデルについて、評価結果やデプロイ判断の根拠、さらにはテストの限界点や改善の経緯を公開する透明性のあるレポートを策定しました。
自律性と制御の厳格な評価
モデルがより高度化し自律性を帯びた際のパフォーマンスと、その行動に対する制御装置の効果を事前に検証する基準を設けました。
影響分析・編集コメントを表示
影響分析
この発表は、生成AIが高度化する中で、単なる機能拡張だけでなく「安全性」と「制御可能性」を同等に重視する業界標準の確立を示唆しています。特に「制御喪失リスク」の評価項目追加は、自律型AIシステムの普及に向けた重要なガバナンスの指針となり、他社や規制当局にも影響を与える可能性があります。
編集コメント
大規模モデルの能力向上に伴う新たなリスク（特に自律性による制御喪失）への対応策を具体化した点は、業界全体が直面する課題に対する先駆的な取り組みと言えます。ただし、これはあくまで開発側の自己規制であり、第三者監査や法規制との整合性が今後の注目点です。
より高度でパーソナライズされたAIを開発するにつれて、信頼性、セキュリティ、ユーザー保護はこれまで以上に重要になっています。
高度なモデルには、技術とスケールする安全性へのアプローチが必要です。本日、私たちはその取り組みの詳細を明らかにします：更新されたAdvanced AI Scaling Framework、Muse Spark向けのSafety & Preparedness Report、そしてモデルが安全について根本から推論する方法における新たな進歩です。これにより、AIの能力が高まるにつれて、保護策も追いついていきます。
Advanced AI Scaling Framework
本日、私たちは元のFrontier AI Frameworkを基盤として、大幅に更新されより厳格なバージョンであるAdvanced AI Scaling Frameworkを発表します。このアップデートは、評価するリスクのタイプを拡大し、デプロイメントに関する意思決定を強化し、新たなSafety & Preparedness Reportsを導入します。より具体的には、このFrameworkは、化学・生物、サイバーセキュリティ、そして制御喪失に関するリスクを評価するための新しいセクションを含む、最も深刻かつ新興のリスクを特定・評価する方法を示しています。モデルが高度になるにつれて、私たちはより大きな自律性が与えられた際のモデルの性能と、その行動に関する制御が意図通りに機能しているかどうかを評価しています。これらの基準は、オープン、制限付きAPIアクセス、またはクローズドモデルなど、すべてのフロンティアデプロイメントに適用されます。
実際には、これは潜在的なリスクをマッピングし、安全対策を適用する前後でモデルを評価して現実世界での機能を確認し、モデルが当社のフレームワークが定めた基準を満たす場合にのみデプロイすることを意味します。当社アプリ全体で Meta AI を利用するユーザーにとって、これは当モデルが提供される前に、広範なリスクのスペクトルについて評価されていることを意味します。
更新されたフレームワークは最も高度なモデルの基準と安全対策を強化していますが、新しい「Safety & Preparedness Reports（安全性および準備状況レポート）」は、これらの基準をどのように満たしているかを示します。これらのレポートでは、リスクアセスメントの結果、評価結果、デプロイ決定の根拠、および解決に向けて現在取り組んでいる制限事項について詳細に説明します。この透明性により、発見内容、モデルのテスト方法、評価が不十分だった箇所、およびそのギャップをどのように埋めたかを共有します。
Safety & Preparedness Report（安全性および準備状況レポート）
Muse Spark については、デプロイ前に広範な安全性評価を実施しました。高度な推論能力を備えているため、保護策を適用する前後でモデルを評価しました。これは、サイバーセキュリティや化学・生物学的脅威といった最も深刻なリスクだけでなく、暴力、児童の安全に関する違反、犯罪行為などの危害や悪用を防ぐために設計された長年の安全ポリシー、およびイデオロギーのバランスを保つためのポリシーに対してもテストを行いました。
当社の評価アプローチは設計上多層的であり、モデルのデプロイ以前から始まります。弱点を発見するために特別に設計された数千のシナリオに対してテストを行い、それらの試みが成功する頻度を追跡し、その数を可能な限り低く抑えるよう努めています。どの評価も網羅的ではないため、予期せぬ問題を特定するために設計された自動化システムでライブトラフィックを監視し、迅速に対応できるようにしています。その結果は、測定したすべてのリスクカテゴリーにおいて強力な安全対策があることを示しています。また、当社の評価では、Muse Spark がモデル回答におけるイデオロギー的バイアスを回避する点で最前線にあることも示されました。
また、モデルが制御困難な方法で自律的に行動する可能性について評価を行いました。その結果、そのようなリスクをもたらすために必要なレベルの自律的能力をモデルが持っていないことが確認されました。当社の「Safety & Preparedness Report（安全性と準備状況レポート）」には、この発見の背景にある具体的な評価の詳細に加え、テスト内容と結果を含むすべての評価結果が記載されています。
モデルとともにスケールする安全性
これらの保護策は、モデルが学習するデータのフィルタリングから、安全重視のトレーニング、製品レベルで動作するガードレールに至るまで、すべての段階に組み込まれています。さらに、モデルの洗練度が向上するにつれて保護策も進化させる必要があるため、この作業は永遠に完了することはありません。
特に、Muse Spark は以前の世代のモデルよりも能力が高く、その能力がモデルを管理するための根本的に新しいアプローチを可能にしています。以前の手法は、特定のシナリオを一つずつ処理するようモデルを教えることに依存していました。例えば、回答を拒否したり信頼できるソースへリダイレクトしたりするよう訓練します。この手法は機能しましたが、スケーリングが困難でした。Muse Spark が推論できるため、私たちはアプローチを進化させました：コンテンツや会話の安全性、回答の品質、異なる視点への対応といった分野における信頼と安全に関するガイドラインを、明確で検証可能な原則に変換しました。また、モデルに対して「何が安全か」だけでなく、「なぜそれが安全なのか」、つまり規則の背後にある理由についても訓練しました。これにより、ルールベースのシステムが予測できなかった新規な状況に対処する能力が向上しています。
この取り組みは人間の監視を置き換えるものではなく、それを高めます。私たちのチームはモデルの行動を導く原則を設計し、現実世界のシナリオに対してこれらの原則を厳密に検証し、モデルが見逃す可能性のある事項を検出するための追加のガードレールを層状に組み込みます。その結果、より広範かつ一貫して適用され、モデルの推論能力が向上するにつれて改善される保護が実現します。
成果の公開
Meta AIにおける重要な進展を遂げ、最も高性能なモデルを展開するにあたり、当社の「Safety & Preparedness Reports（安全・準備状況報告）」は、各段階でリスクをどのように評価し管理しているかを示しています。私たちは安全対策、テスト、研究への投資を引き続き行い、ユーザーを保護する目的で組み込まれた保護機能を持つAI体験を人々が信頼できるよう努めます。
原文を表示
As we build more capable and more personalized AI, reliability, security, and user protections are more important than ever.
Advanced models require an advanced approach to safety — one that scales with the technology. Today, we’re detailing that work: our updated Advanced AI Scaling Framework, our Safety & Preparedness Report for Muse Spark, and new advances in how our models reason about safety from the ground up, so that as our AI becomes more capable, our protections keep pace.
Advanced AI Scaling Framework
Today, we’re building on our original Frontier AI Framework and publishing a significantly updated and more rigorous version: the Advanced AI Scaling Framework. This update broadens the types of risks we evaluate, strengthens how we make deployment decisions, and introduces new Safety & Preparedness Reports. More specifically, this Framework outlines how we identify and assess the most severe and emerging risks, including chemical and biological, cybersecurity, and a new section to evaluate risks around loss of control. As models become more advanced, we’re evaluating how they perform when given greater autonomy and whether the controls around that behavior work as intended. These standards apply across our frontier deployments, whether they’re open, controlled API access, or closed models.
In practice, this also means mapping potential risks, evaluating models before and after safeguards are applied to confirm they work in the real world, and only deploying models when they meet the standards set by our Framework. For people who use Meta AI across our apps, this means the models powering their experience have been evaluated across a broad spectrum of risks before we make them available.
While our updated Framework strengthens the standards and safeguards for our most capable models, our new Safety & Preparedness Reports will show how we are meeting them. These reports will detail our risk assessments, evaluation results, the rationale behind our deployment decisions, and any limitations we’re still working to address. This transparency means we will share what we found, how we tested our models, where our evaluations fell short, and how we closed those gaps.
Safety & Preparedness Report
For Muse Spark, we conducted extensive safety evaluations before deployment. Because of its advanced reasoning capabilities, we evaluated the model before and after applying protections — testing not just for the most serious risks like cybersecurity and chemical and biological threats, but also against our long-standing safety policies, which are designed to prevent harms and misuse like violence, child safety violations, and criminal wrongdoing, and our policies to ensure ideological balance.
Our evaluation approach is multilayered by design, and it starts before a model is deployed. We test against thousands of scenarios specifically designed to find weaknesses, track how often those attempts succeed, and work to drive that number as low as possible. Because no evaluation is exhaustive, we also monitor live traffic with automated systems designed to spot unexpected issues so we can address them quickly. The results demonstrate strong safeguards across all the risk categories we measured. Our evaluations also showed that Muse Spark is at the frontier in avoiding ideological bias in model responses.
We also evaluated whether the model could act autonomously in ways that could be difficult to control, and our evaluations confirm it does not possess the level of autonomous capability needed to pose those risks. Our Safety & Preparedness Report details the specific evaluations behind this finding in addition to all of our evaluation results, including what we tested and what we found.
Safety That Scales With the Model
These protections are built in at every stage — from filtering the data the model learns from, to safety-focused training, to guardrails that run at the product level. And because our protections need to evolve as the sophistication of our models improves, this work will never be done.
In particular, Muse Spark is more capable than our previous generation of models, and that capability is what makes a fundamentally new approach to governing the model possible. Earlier approaches relied on teaching models to handle specific scenarios one by one, for instance, training them to refuse to respond or to redirect to a trusted source. That approach worked, but was difficult to scale. Because Muse Spark can reason, we’ve evolved our approach: we’ve translated our trust and safety guidelines across areas like content and conversational safety, response quality, and handling different viewpoints into clear, testable principles. We also trained the model on why something is safe — not just on the rules, but also the reasons behind the rules. This means the model is better equipped to handle novel situations that rules-based systems might have failed to anticipate.
This work doesn’t replace human oversight; it elevates it. Our teams design the principles that guide model behavior, rigorously validate these principles against real-world scenarios, and layer in additional guardrails to catch things the model may still miss. The result is protections that are applied more broadly and consistently, and that improve as the model’s reasoning improves.
Showing Our Work
As we make significant advancements to Meta AI and deploy our most capable models, our Safety & Preparedness Reports show how we’re evaluating and managing risk at every step. We’ll continue to invest in safeguards, testing, and research, so people can rely on an AI experience with built-in protections designed to help keep them safe.
関連記事
今日のまとめ
AI日報で今日の重要ニュースをまとめ読み