メインコンテンツへスキップ

#llmセキュリティ のAIニュース

7件の記事

Snowflake Cortex AIがサンドボックスを脱出しマルウェアを実行

PromptArmorが、SnowflakeのCortex Agentにおけるプロンプトインジェクション攻撃チェーンを報告した。攻撃はCortexユーザーがGitHubリポジトリをレビューするよう依頼した際に開始され、現在は修正済み。

Simon Willison Blog·3月19日·★★★★

アプリ向けAIセキュリティが一般提供開始

Cloudflareが、AI搭載アプリケーション向けの脅威検出・軽減サービス「AI Security for Apps」の一般提供を開始した。カスタムトピック検出などの新機能を追加し、全顧客向けにAIエンドポイント発見機能を無料化した。また、IBMとの連携拡大も発表した。

Cloudflare Blog·3月11日·★★★★

2026年3月6日 Frontier Red TeamによるClaudeのCVE-2026-2796エクスプロイトのリバースエンジニアリング

Frontier Red Teamが、Claudeの脆弱性CVE-2026-2796を悪用するエクスプロイトをリバースエンジニアリングした。

Anthropic Research·3月6日

不正なツール呼び出しの問題

Answer.aiは、LLMが構造化出力を用いても関数やパラメータを誤って生成する「不正なツール呼び出し」の問題を指摘し、その信頼性向上の必要性を示唆している。

Answer.AI·2月18日·★★★★

ChatGPTにロックダウンモードと高リスクラベルを導入

組織がプロンプトインジェクションやAI駆動のデータ流出から防御できるよう、ChatGPTに新機能を導入。

OpenAI News·2月13日·★★★★

Claude 4のサイバーセキュリティ評価

Pattern Labs社がClaude Opus 4とClaude Sonnet 4のサイバーセキュリティ評価を実施し、Opusが前モデルから特に顕著な改善を示した。

Anthropic Red Team·7月15日

AIレッドチームによる敵対的訓練:ChatGPTと大規模言語モデルの敵対的堅牢性向上方法

OpenAIは、創造的なデータラベラーからなるAIレッドチームを組織し、大規模言語モデルが攻撃に耐えるよう、敵対的訓練を通じて防御力を高める取り組みを進めている。

Surge AI Blog·12月12日·★★★★