AI LETTER

DAILY AI LETTER · NO. 010

5 topics約3分

AIの信頼は、検証を工程に埋め込めるかで決まる

独立評価の常駐化とコード変更ごとのAgent防御を重点2本で。AI自動化の計測、Mac上の個人Agent、AI支援の侵入実証は速読3本で追います。

01

Anthropic、独立評価者を社内へ常駐させる

何が起きた
AnthropicはAccenture傘下のFacultyと、前線AIを継続評価する非独占提携を発表しました。評価者は従業員に近いアクセスでモデル開発を追い、評価、レッドチーム、アラインメント、セーフガード検証を担います。両社は今後5年でそれぞれ少なくとも10億ドルの能力構築を見込みます。
なぜ重要か
日本企業が高性能モデルを調達するとき、公開ベンチマークや提供元の自己申告だけでなく、開発中の判断や事故を第三者が継続検証できるかを契約条件にできます。一方、初期費用をAnthropicが負担するため、評価者の独立性は名称ではなく権限、報告先、公開範囲で確かめる必要があります。
次に見ること
評価者が閲覧できる情報、重大所見の公開基準、Anthropicを介さない報告経路、共通基準と共同資金の成立、追加評価機関の参加。
原文：Anthropic

02

Google、全コード変更をAgentで防御

何が起きた
Googleは、数億行のコードに対する各変更を提出前にAgentで走査し、到達可能性を構文木やコールグラフで確かめる専用Agentと、人間が確認する修正Agentを組み合わせた社内方式を公開しました。月に数百件の脆弱性を本番到達前に防ぎ、専用の選別Agentは1分未満で92%超の精度、条件によって誤検知率3%としています。
なぜ重要か
生成AIで変更量が増えるほど、後日の大規模監査では検出が追いつきません。日本の開発組織も、モデルに一括レビューを頼むのではなく、変更単位の脅威モデル、決定的な到達可能性検証、人間承認までをCIの一つの工程として設計する必要があります。
次に見ること
社外環境での再現性、見逃し率、言語別の対応範囲、修正提案の採用率、公開されたMantisを使った第三者評価。
原文：Google Cloud

QUICK READ

昨日のAI、あと3本

見落としたくない動きを、一件一文で。

  1. 透明性

    Anthropic、AIが自社AI開発を担う比率を公開

    Anthropicは8月時点でClaudeがAI研究開発の26%を主導し、90%超で協働、社内の同時稼働Agentは約3万と報告し、監視率、確認遅延、計算資源配分を共通指標にする案を示しました。

    Anthropic

  2. 製品

    Meta Muse、Mac上のファイルや標準アプリを操作

    Metaの個人Agent MuseがMacへ拡大し、利用者が許可した範囲でファイル、メッセージ、カレンダー、メモ、メールを標準アプリ上から扱い、機微な操作前には承認を求めます。

    TechCrunch

  3. セキュリティ

    Claude支援の脆弱性連鎖、OpenAI社内Repoまで到達

    Hacktronは、Claudeを使って画像処理の欠陥とOpenAIのSSO不備を連鎖させ、社員のChatGPTとCodexアカウントから社内Repoへ到達した検証を公開。両社への報告後に修正され、実証は無害なPRで停止しました。

    Hacktron