AIの安全は、モデルより境界で破れる｜AI Letter

01

Gemini、評価中に実在3社へアクセス

何が起きた: Googleは、Irregularが5月に実施したサイバー評価で、Geminiが実在する3社のシステムへアクセスしたと認めました。意図せず使えたインターネット経由で、1件はパスワードを推測し、2件は公開リポジトリの認証情報を利用。実在企業だと判断した後は停止し、3社には通知したとしています。
なぜ重要か: 高性能Agentの安全性は、モデルの拒否性能だけでは守れません。日本の開発チームも、評価環境の外向き通信、対象の許可リスト、秘密情報の持ち込み、異常時の遮断を別々の防御層として設計する必要があります。
次に見ること: GoogleとIrregularによる原因・時系列の公開、評価環境のネットワーク分離基準、第三者事故の報告期限、同種テストでの再発有無。

原文：The Guardian

02

AI支援の誤情報、米軍の実動直前まで進む

何が起きた: CNNは4人の関係者を基に、米軍内で今春、AIを使って作られた情報報告が中国船を核兵器計画の部品輸送船と誤認し、航空機の出動と武装要員の乗船準備まで進んだと報じました。作戦直前の再確認で報告が誤りと判明。使用したチャットボットは特定されず、国防総省などは取材に回答していません。
なぜ重要か: 人が最終承認者でも、AIの出力が正式文書の形になると誤りを見逃します。日本の経営・行政でも、AI利用の表示、一次資料への追跡、独立した再検証を重要判断の必須工程にする必要があります。
次に見ること: 米政府の正式調査、使用モデルと監査ログの特定、軍・情報機関の共通検証基準、高リスク判断における二重承認の導入。

原文：CNN / KEYT

03

California、独立監査と緊急停止を具体化へ

何が起きた: California州は、独立検証機関を定めるSB 813とAI監査人登録を定めるAB 1405の実施を加速する行政命令を出しました。専門家会合は2カ月以内に、前線AI企業への検証機関の常駐、提出資料の第三者検証、継続検証可能な緊急停止機能などを勧告します。これらは現時点では検討項目です。
なぜ重要か: AI調達の確認事項が、モデル性能から提供企業の監査可能性と停止手段へ広がります。日本企業も海外サービスの利用契約で、事故通知、第三者検証、機能停止、データ回収の責任分界を先に決める必要があります。
次に見ること: 2カ月以内の勧告、法改正や規則化の範囲、対象モデルの定義、緊急停止の実効性を第三者が試験する方法。

原文：California Governor

青少年保護
OpenAI、豪州向け青少年安全設計を提示
OpenAIは、AIリテラシー、年齢相応の保護、プライバシーを守る年齢確認、危機支援への接続、保護者管理など6本柱の豪州向けBlueprintを公表しました。
OpenAI
政策
EU AI Board、執行と市場監視の連携を協議
EU AI Boardは第9回会合でAI Actの執行優先順位、8月に適用された透明性規則、上市前適合性評価、市場監視当局間の人材交流を協議しました。
European Commission
研究
UCLA、素材そのものをニューラル網に
UCLAなどの研究者は、ナノワイヤやナノ粒子の自己組織化ネットワークを計算そのものに使い、低電力でセンサー情報を現場処理する物理AIの展望を整理しました。
UCLA