#ガードレールのAIニュース

6件の記事

AI ブラウザの新たな攻撃手法が示すリスクと問題点

Ars Technica は、AI ブラウザの開発者が大規模言語モデルへの指示を混同させるリスクについて警告しており、単なるプロンプトでの操作が機密情報の漏洩や意図しない行動を引き起こす可能性があると指摘している。

TLDR AI が、AI モデルが外部データから悪意ある指示を誤って受け取る「間接プロンプトインジェクション」の仕組みと対策について解説した。

米国政府は国家安全保障上の懸念から、アンソロピックに対し最新モデル「Fable 5」と「Mythos 5」の撤回を命じた。サイバーセキュリティ研究者らはこの措置を危険と指摘し、同社も他のモデルにも同様の抜け道が存在すると認めている。

サイバーセキュリティ研究者が、AI 企業アンソロピックが提供する「Fable」プラットフォームに課された安全対策（ガードレール）の制限について、その厳格さや実用性に不満を表明している。

Amazonは、生成AIアプリケーションの安全性と信頼性を高めるため、ユーザーの年齢や文脈に応じた適切な応答を保証する「Bedrock Guardrails」を開発した。

Sonatypeは、AIコーディングツールとオープンソースエコシステムの間に位置するリアルタイムガードレールシステム「Sonatype Guide」を発表した。このシステムは、AI生成コードが安全で有効かつ保守可能な依存関係を使用することを保証する。