OpenAI ヘルプ：ロックダウンモード
OpenAI が ChatGPT に導入した「Lockdown Mode」は、プロンプトインジェクション攻撃によるデータ漏洩を防ぐための決定的なネットワーク制限機能であり、LLM セキュリティの新たな基準を示す。
キーポイント
Lockdown Mode の本質的な機能
プロンプトインジェクション攻撃の最終段階であるデータ外部転送（exfiltration）を防ぐため、送信元を制限するネットワークリクエストをブロックする。
セキュリティモデルにおける「致命的なトリオ」への対抗
LLM が「プライベートデータへのアクセス」「信頼できないコンテンツへの曝露」「データ窃取・転送経路」の 3 つを同時に持つ状態（Lethal Trifecta）に対し、最も実用的な対策として転送経路を遮断する。
AI 依存しない決定論的防御メカニズム
この機能は AI システム自体の評価に依存せず、攻撃によって乗っ取られる可能性が低い決定論的なメカニズムを用いて実装されている。
デフォルト設定のセキュリティ限界の示唆
Lockdown Mode の存在は、ChatGPT の標準設定では十分に強力なデータ漏洩攻撃に対する保護が提供されていないことを暗に示している。
影響分析・編集コメントを表示
影響分析
この機能は、LLM システムにおけるデータ漏洩リスクに対する業界の認識を根本的に変えるものであり、単なるソフトウェアアップデートを超えて、セキュリティアーキテクチャの設計思想に「防御層」を追加する必要性を浮き彫りにしました。企業や開発者は、ChatGPT の標準設定が万能ではないことを理解し、機密データを扱う際には Lockdown Mode などの追加保護策の活用を検討する必要があります。
編集コメント
「致命的なトリオ」の概念を理論的に整理し、その中で最も実装可能な対策として Lockdown Mode を位置付けた点は非常に示唆に富んでいます。標準設定の限界を明確にしたことで、ユーザー側が能動的にセキュリティ設定を見直す契機となるニュースです。
OpenAI はこの機能を 2 月に初めて紹介しましたが、[今では稼働しており]、「対象となる個人アカウント（Free、Go、Plus、Pro およびセルフサービス ChatGPT Business アカウントを含む）」に順次展開されています。
ロックダウンモードは、プロンプトインジェクション攻撃から最終段階のデータ流出を防ぐために設計されており、機密データを攻撃者に転送する可能性のあるアウトバウンドネットワークリクエストを制限します。ただし、ロックダウンモードが ChatGPT が処理するコンテンツ内にプロンプトインジェクションが表示されることを防ぐわけではありません。例えば、キャッシュされた Web コンテンツやアップロードされたファイル内にプロンプトインジェクションが存在し、応答の動作や精度に影響を与える可能性があります。
これは私にとって非常に素晴らしい機能に見えます。
致命的なトリプレットとは、LLM システムが「プライベートデータへのアクセス」「信頼できないコンテンツへの曝露」「データを盗んで攻撃者に送信する手段」の 3 つすべてにアクセスできる状態を指します。
このトリプレットを解決する唯一の方法は、3 つの要素のうちいずれかを遮断することです。LLM システムの実用性を著しく損なうことなく制限しやすいのは、データ窃取のための流出ベクトル（exfiltration vectors）であることが圧倒的に多いです。
私には、ロックダウンモードがその側面を直接的に攻撃しているように見えます。このモードは決定論的なメカニズムを用いており、さらに重要なのは、それらが十分に巧妙な攻撃によって乗っ取られる可能性のある AI システム自身によって評価されない点です。
ただし、ロックダウンモードが存在することは、デフォルト設定の ChatGPT が、十分に決意したデータ漏洩攻撃に対して堅牢な保護を提供するものではないことを示唆しています！
タグ: セキュリティ, AI, OpenAI, プロンプトインジェクション, LLM, 致命的なトリプレット
原文を表示
OpenAI first teased this in February, but now it's live and "rolling out to eligible personal accounts, including Free, Go, Plus, and Pro, and self-serve ChatGPT Business accounts":
Lockdown Mode is designed to help prevent the final stage of data exfiltration from a prompt injection attack by limiting outbound network requests that could transfer sensitive data to an attacker. Lockdown Mode does not prevent prompt injections from appearing in the content ChatGPT processes. For example, a prompt injection could appear in cached web content or in an uploaded file, and could still affect the behavior or accuracy of a response.
This looks really good to me.
The Lethal Trifecta occurs when an LLM system has access to all three of access to private data, exposure to untrusted content and a way to steal data and transmit it back to the attacker.
The only way to solve the trifecta is to cut off one of the three legs, and by far the easiest leg to restrict without making your LLM systems far less useful is the exfiltration vectors to steal data.
It looks to me like lockdown mode directly attacks that leg, using mechanisms that are deterministic and, crucially, are not evaluated by AI systems that themselves can be subverted by sufficiently devious attacks.
The existence of lockdown mode does however imply that ChatGPT, in its default settings, does *not* provide robust protection against sufficiently determined data exfiltration attacks!
Tags: security, ai, openai, prompt-injection, llms, lethal-trifecta
関連記事
ハッカーがメタ AI サポートチャットボットを騙して著名人の Instagram アカウントを窃取
ハッカーはメタの AI サポートチャットボットに偽装して、VPN で位置情報を隠蔽しながらアカウントの登録メールアドレス変更を要求し、著名人の Instagram アカウントを乗っ取り転売した。
研究者が Claude に爆発物製造指示を出力させることに成功、Anthropic の安全性に疑問
セキュリティ調査会社 Mindgard の研究者は、Claude の親切な性格を利用し、爆発物の製造方法を含む有害な指示を出力させることに成功した。これは Anthropic が安全な AI 企業として築き上げてきた信頼に重大な脅威を与える結果となった。
OpenAIが安全性向上のためのバグ報奨金プログラムを開始
OpenAIは、AIの悪用や安全性リスク（エージェントの脆弱性、プロンプトインジェクション、データ流出など）を特定するため、安全性向上のためのバグ報奨金プログラムを開始した。