AIに任せる範囲が、止める仕組みを追い越す｜AI Letter

01

Anthropic、第三者を常駐させる安全検証を提案

何が起きた: AnthropicのDario Amodei CEOは、前線モデルの能力向上を安全対策が追いつく速度に抑える3段階案を公表しました。第一段階として、従業員に近い継続的なアクセスを持つ第三者評価者を受け入れると表明し、業界内と各国政府の協調も提案しています。
なぜ重要か: 自主的な安全宣言だけでなく、外部者が学習工程や事故対応を継続確認できるかが争点になります。日本企業が高権限AIを調達する際も、モデル名より、第三者監査の範囲と停止判断の責任者を契約で確認する必要があります。
次に見ること: 実際に参加する評価機関、アクセスできる学習工程と事故記録の範囲、評価結果の公開方法、他社が同等制度へ参加するか。

原文：Dario Amodei

02

Perplexity、Astraに本番システムの監視と変更を委ねる

何が起きた: OpenAIは、PerplexityがGPT-6 Astraを通信文の作成、実システムの変更、本番ソフトウェアの監視、アプリの端から端までのテストに使い、従来モデルより確認頻度を減らしている事例を公開しました。
なぜ重要か: AIの役割が提案から本番操作へ移るほど、誤り一件の影響は大きくなります。日本の開発チームは自律性を上げる前に、変更権限の分離、承認が必要な操作、監視不能時の停止条件を先に設計すべきです。
次に見ること: 人の承認なしで許可する変更範囲、誤変更率と復旧時間、監視の見逃し率、権限昇格や外部接続を止める具体策。

原文：OpenAI

政策
トランプ氏、AI開発の減速に否定的
米大統領は一部規制の必要性を認めつつ、中国との競争を理由にAI開発を減速させる考えを退け、具体的な規則は示しませんでした。
Associated Press
安全
AIが投票の秘密を破る作業を容易に
研究者は、公開記録と既知のソフトウェア欠陥をAIに処理させ、米ジョージア州の一部投票者と投票内容を対応付けられる可能性を実証しました。票の変更につながる欠陥ではありません。
Associated Press