#llmセキュリティ のAIニュース
7件の記事
Snowflake Cortex AIがサンドボックスを脱出しマルウェアを実行
PromptArmorが、SnowflakeのCortex Agentにおけるプロンプトインジェクション攻撃チェーンを報告した。攻撃はCortexユーザーがGitHubリポジトリをレビューするよう依頼した際に開始され、現在は修正済み。
Simon Willison Blog·3月19日·★★★★
アプリ向けAIセキュリティが一般提供開始
Cloudflareが、AI搭載アプリケーション向けの脅威検出・軽減サービス「AI Security for Apps」の一般提供を開始した。カスタムトピック検出などの新機能を追加し、全顧客向けにAIエンドポイント発見機能を無料化した。また、IBMとの連携拡大も発表した。
Cloudflare Blog·3月11日·★★★★
2026年3月6日 Frontier Red TeamによるClaudeのCVE-2026-2796エクスプロイトのリバースエンジニアリング
Frontier Red Teamが、Claudeの脆弱性CVE-2026-2796を悪用するエクスプロイトをリバースエンジニアリングした。
Anthropic Research·3月6日
不正なツール呼び出しの問題
Answer.aiは、LLMが構造化出力を用いても関数やパラメータを誤って生成する「不正なツール呼び出し」の問題を指摘し、その信頼性向上の必要性を示唆している。
Answer.AI·2月18日·★★★★
ChatGPTにロックダウンモードと高リスクラベルを導入
組織がプロンプトインジェクションやAI駆動のデータ流出から防御できるよう、ChatGPTに新機能を導入。
OpenAI News·2月13日·★★★★
Claude 4のサイバーセキュリティ評価
Pattern Labs社がClaude Opus 4とClaude Sonnet 4のサイバーセキュリティ評価を実施し、Opusが前モデルから特に顕著な改善を示した。
Anthropic Red Team·7月15日
AIレッドチームによる敵対的訓練:ChatGPTと大規模言語モデルの敵対的堅牢性向上方法
OpenAIは、創造的なデータラベラーからなるAIレッドチームを組織し、大規模言語モデルが攻撃に耐えるよう、敵対的訓練を通じて防御力を高める取り組みを進めている。
Surge AI Blog·12月12日·★★★★