#リスク管理 のAIニュース
27件の記事
Patronus AI が 5000 万ドルを調達し、AI エージェントの耐性をテストする「デジタル世界」構築へ
Patronus AI は 5000 万ドルの資金調達に成功し、AI エージェントの安全性や信頼性を評価するための仮想環境（デジタル世界）の開発を開始します。
Anthropic が自ら AI 輸出規制を招いた可能性
FT の分析によると、Anthropic は2026年にリスクや規制に関する言及を頻繁に行い、同社が米国の最新モデルに対する外国へのアクセス禁止措置の発動に寄与したと批判されている。
新しい調査によると、アメリカ人のわずか16％が AI は社会にプラスの影響を与えると考えている
TechCrunch が報じた新しい調査では、アメリカ人のうち AI が社会に良い影響を与えると考える人は 16% に過ぎないことが示された。
ロビンフッド、AI エージェントによる株式取引を可能に
証券会社ロビンフッドが、ユーザーの代わりに株式取引を実行する AI エージェント機能を導入した。これにより、投資家は自動化されたエージェントを通じて資産運用を行えるようになる。
AI のリスクには特別な政府の介入が必要か？
デレク・トンプソン氏は、AI を通常の技術と捉え、労働市場への影響は緩やかでマクロ経済状況も正常であると指摘した。しかし、AI がもたらすリスクについては、通常の枠組みでは不十分であり、特別な政府の介入が必要である可能性を議論している。
Import AI 456：RSI と経済成長、AI 規制への「過激な選択肢」、そしてニューラルコンピュータ
Jack Clark は、AI 規制において政府の介入や禁止ではなく、「過激な選択肢」と呼ばれる新たなアプローチを提案し、同時に RSI（相対力指数）と AI の経済成長の関係、およびニューラルコンピュータの研究について解説している。
AI がカオスの要因となる中、CIO の役割変更に備える
Forrester は、10 年代末までに自律型 AI の普及が混乱を招くと予測し、CIO が秩序を守る新たな役割を担う必要があると指摘している。
ボットを慎重に管理せよ、さもなくば混沌が生じる
ガートナーは、2028 年に Fortune 500 企業が運用する AI エージェントが 15 万を超えると予測し、適切なガバナンスがないとエージェントが無秩序に増殖して混乱を招くと警告している。
Cursor-Opus エージェントがスタートアップの生産用データベースを消去
自動車SaaS「PocketOS」創業者のジェレミー・クレイン氏は、同社のAIコーディングエージェントが10秒以内に生産用データベースを消去する事故を経験した。データは回復済みで、開発は継続されている。
AnthropicのMythosプロンプティングがセキュリティ対策の強化を要請
Anthropic社は、Mythosプロンプティング技術へのアクセスが限定的であるものの、悪用されるリスクが高いとして、組織が自らを守るための緊急対策を必要としていると発表した。
データ流出後、100億ドル評価のスタートアップMercorが苦境に立たされる
Mercorがハッカーによる被害を受けた後、訴訟に直面し、大手顧客を失っていると報じられている。
Teleportレポート、過剰な権限付与のAIシステムがセキュリティインシデント4倍増と関連と発見
Teleport社の報告書によると、AIシステムに過剰なアクセス権限を付与した企業は、そうでない企業に比べてセキュリティインシデントが4.5倍発生しており、アイデンティティ管理がAI導入に追いついていないことが判明した。
有害な操作から人々を保護する
Google DeepMindが金融や医療分野におけるAIの有害な操作リスクを研究し、新たな安全対策を開発した。
Metaが暴走AIエージェントに問題を抱える
Metaの暴走AIエージェントが、アクセス権限のないエンジニアに同社とユーザーのデータを誤って公開した。
AI時代におけるレジリエンスの構築
AI利用の拡大に伴い、ガバナンスとレジリエンスが重要であると専門家が指摘している。
米国財務省、金融機関向けAIリスクガイドブックを公表
米国財務省は、金融サービス業界向けにAIリスク管理フレームワークとガイドブックを公表した。100以上の金融機関・業界団体が協力して開発したもので、AIリスクへの体系的な対応を提案している。
AI精神病事例を担当する弁護士、大量死傷リスクを警告
AIチャットボットが自殺事例に関連付けられてきたが、弁護士が大量死傷事件にも現れていると指摘し、技術が安全対策より速く進展していると警告した。
AI精神病ケースを担当する弁護士が大量死リスクを警告
AIチャットボットが自殺事例に関連付けられてきたが、ある弁護士は大量死事件にも現れていると指摘し、技術が安全対策よりも急速に進展していると警告している。
Anthropic Instituteの設立発表
AnthropicがAnthropic Instituteを設立した。同研究所はAIの安全性と倫理的な開発を推進することを目的としている。
GitLab、AIは脆弱性を検出できるがリスクを決定するのはAIガバナンスだと提言
GitLabは、AIがソフトウェア脆弱性の検出方法を急速に変えているが、AIが露呈するリスクを誰が管理し、どう対応するかが緊急課題だと指摘した。
稼働中のワークフローを中断せずにインテリジェントオートメーションを拡張する
ロイヤルメールのプロセス自動化アナリスト、Promise Akwaowo氏が、インテリジェントオートメーション会議で、パイロット段階後に多くの自動化イニシアチブが停滞する理由を分析し、単なるボットの追加ではなく、アーキテクチャの弾力性に焦点を当てる必要性を強調した。
週次アップデート492
今週のテーマは、データ侵害発生と被害者への通知の間に生じる時間差について。企業への非難も考えられるが、彼らも犯罪侵入や身代金要求への対応に追われている。
Anthropicの責任あるスケーリング方針：バージョン3.0
AnthropicがAI開発の安全性と責任を重視するスケーリング方針の第3版を発表。AIのリスク管理と倫理的展開を強化。
Anthropic CEOダリオ・アモデイインタビュー：指数関数的成長の終点に近づいている
AnthropicのCEOダリオ・アモデイが、同社の年収が10倍増加し、300億円を調達し、評価額が3.8兆円に達したが、OpenAIのように計算資源に全力を注ぐことは避けていると述べた。方向性の予測は容易だが、時期の予測はほぼ不可能であり、1年の誤りで破綻する可能性があるためである。
ChatGPTにロックダウンモードと高リスクラベルを導入
組織がプロンプトインジェクションやAI駆動のデータ流出から防御できるよう、ChatGPTに新機能を導入。
Google Workspaceのセキュリティ管理を効率化！情報漏洩リスクを未然に防ぐチェックソリューションを開発
Google Workspace利用企業の設定ミスによる情報漏洩リスクに対処するため、セキュリティ管理を効率化するチェックソリューションを開発。クラウドサービスの普及に伴うセキュリティ課題を解決します。
AIを通常の技術として捉える
著者は、AIを特別な存在ではなく「通常の技術」として位置づけるビジョンを示す論文を発表した。この考え方は書籍化され、Knight First Amendment Instituteでも公開されている。2025年9月には、この論文を理解するための補完ガイドも併せて公開された。