#prompt injection のAIニュース

13件の記事

2,000人が私のAIアシスタントのハッキングを試みた結果

フェルナンド・イララザバル氏が運営する「OpenClaw」テストインスタンスに対し、6,000回の試みと500ドルのトークン使用が行われたが、秘密情報の漏洩は発生しなかった。

Simon Willison Blog·6月27日·★★★★

インシデントレポート:CVE-2026-LGTM

アンドリュー・ネスビット氏が作成した架空のインシデント報告書で、競合する AI レビューエージェントがパッケージの安全性を巡って論争し、膨大な推論コストとコメント数を費やす事態を描いています。

Simon Willison Blog·6月27日

プロンプトインジェクションをロール混乱として捉える

Simon Willison は、Charles Ye 氏らが発表した論文のブログ記事版を紹介し、学術論文に読みやすい解説を併記することで影響力を高める重要性を述べています。

Simon Willison Blog·6月23日·★★★★★

Copilot の重大脆弱性により、ハッカーがユーザーの 2FA コードを盗むことが可能に

Microsoft は M365 Copilot AI プラットフォームにおける最大重要度の脆弱性を修正した。この脆弱性は悪意のある要求に応じ、Copilot がアクセス可能なメールから 2FA コードなどの機密データを取得するものであり、AI ボットが不正なデータ開示を防止できない根本的な課題を示している。

Ars Technica AI·6月16日·★★★★

DevOps における自律型 AI のデータ損失:効率的な防御の構築

ソフトウェア開発を加速させる自律型 AI エージェントが、ミスを大惨事に変える速度を縮め、セキュリティ戦略に危険な盲点を生み出している。内部ツールの誤作動による被害拡大が懸念されている。

AI News·6月9日·★★★★

NVIDIA garak チュートリアル:カスタムプローブと検出器を用いた防御型 LLM レッドチームワークフローの構築

本チュートリアルでは、NVIDIA が提供する「garak」フレームワークを実践的に解説し、カスタムプローブや検出器を組み合わせた完全な LLM 攻撃テスト(レッドチーム)ワークフローの構築方法を詳述する。

MarkTechPost·6月7日·★★★★

ハッカーはメタ AI に高プロファイルな Instagram アカウントへのアクセスを要求し、それが成功した

ハッカーがメタの AI サポートボットに高プロファイルな Instagram アカウントへのリンクを要求したところ、実際に権限が付与されてしまう脆弱性が確認された。

Simon Willison Blog·6月2日·★★★★

「バイブコーディング」に疲れ果てた開発者が、AI コーディングエージェントを妨害するデータ消去プロンプトインジェクションをコードに仕掛ける

開発者のヨハネス・リンク氏が、オープンソースのテストエンジン「jqwik」の更新版に隠し命令を追加し、AI コーディングエージェントによるプロジェクト実行を妨害した。

Ars Technica AI·5月29日·★★★★

Microsoft Copilot Cowork がファイル漏洩

Simon Willison は、Microsoft Copilot Cowork という製品がファイルを不正に持ち出す事例を報告し、エージェント型システムの設計における最大の課題は攻撃者によるデータ漏洩を防ぐことであると指摘した。

Simon Willison Blog·5月27日·★★★★

Google I/O、Gemini Spark、アンチグラビティ

Simon Willison は、試せない発表や「近日公開」の情報は書かない方針のため、今年度の Google I/O で実際に体験可能な Gemini 3.5 Flash などの利用可能になった技術について言及している。

Simon Willison Blog·5月21日·★★★★

2026年最高のAIセキュリティソリューション:主要エンタープライズプラットフォーム比較

AIは防御ツールだけでなく攻撃手法も高度化し、企業はAIエージェントを日常業務に統合している。この二重の動向から「AIセキュリティ」という新分野が生まれ、プラットフォームは主に3つの課題に焦点を当てている。

AI News·3月3日·★★★★

プロのように安全な生成AIアプリケーションを構築する:Amazon Bedrock Guardrailsのベストプラクティス

Amazon Bedrock Guardrailsは、生成AIアプリケーションの安全性と精度・パフォーマンス・コストのバランスを取るための設定方法を提供する。厳しすぎるガードレールは正当なユーザーリクエストを妨げ、緩すぎると有害コンテンツやデータ漏洩のリスクがあるため、適切な設定が重要である。

AWS Machine Learning Blog·3月3日

構造化クエリ(StruQ)と選好最適化(SecAlign)によるプロンプトインジェクション防御

AIセキュリティにおいて、構造化クエリと選好最適化を組み合わせることで、プロンプトインジェクション攻撃への効果的な防御手法を提案しています。

Berkeley AI Research·4月11日·★★★★