字节と南京大学、VLM のプライバシー保護フレームワーク「COVERT」を ECCV 2026 に発表

タイトル（参考のみ）：顶会入选 | COVERT —— 面向视觉语言模型的隐私保护推理框架入选 ECCV 2026

💡 医療、金融、業務自動化など高機密性が求められる分野で、視覚言語モデル（Vision-Language Models, VLMs）の導入が進む中、ユーザーがアップロードする画像やスクリーンショット、領収書、個人情報がクラウド推論サービスにおける重要なプライバシーリスクとなっています。この「VLM as a Service（VLMaaS）」における多モーダルプロンプトの漏洩問題を解決するため、字节跳动安全研究チームと南京大学の研究員らが共同で「COVERT」フレームワークを提案しました。その研究成果『COVERT: Privacy-Preserving Covariant Obfuscation for VLMaaS via Exact Reparameterization and Tailored Tuning』は、コンピュータビジョン分野のトップカンファレンスである ECCV 2026 に採択されました。

一、研究背景

近年、視覚言語モデル（Vision-Language Models, VLMs）は汎用的な質問応答から、実際のビジネスシーンへと進化を遂げています。VLMaaS モデルでは、リソースが限られるユーザーが画像とテキストプロンプトをクラウドにアップロードし、サーバー側で推論処理を行って結果を返すという仕組みが一般的です。このサービス形態は大モデルの利用ハードルを大幅に下げましたが、新たなプライバシー課題も生みました。ユーザーがアップロードする画像には、顔やナンバープレート、医療画像、財務書類、業務のスクリーンショットなど機密情報が含まれる可能性があり、これらがサーバー側または攻撃者によって復元されれば、深刻なデータ漏洩リスクにつながります。

既存のプライバシー保護手法は、安全性・効果・効率の 3 つの要件を同時に満たすことが困難です。マルチパーティ計算や同種暗号化、信頼実行環境（TEE）に基づく手法は計算と通信のオーバーヘッドが大きく、高次元の視覚入力やリアルタイムなクラウド推論には適していません。一方、差分プライバシーによるノイズ付与手法は、視覚的意味と言語的意味の対応関係を損ないやすく、モデル性能が著しく低下する恐れがあります。

こうした課題に対し、本研究では字节跳动安全研究チームが提案したテキスト大モデル向けの協変混淆（Covariant Obfuscation）手法（関連記事：PrivLLM 協変混淆：プライバシー保護 LLM 推論の効率的実装）を基盤とし、VLMaaS シナリオに特化した COVERT フレームワークを新たに構築しました。COVERT は VLM の多モーダル構造を意識して設計されており、クライアント側で入力データとモデルパラメータを協調的に混淆させ、サーバー側では混淆された状態で VLM 推論サービスを実行します。これにより、実用性を損なうことなくユーザーの画像プライバシーを守ることが可能になります。

本研究の主な技術的貢献は以下の通りです。

• VLMaaS 向けのプライバシー保護フレームワーク：COVERT は、視覚入力・テキスト入力・推論応答をすべてカバーする、VLM クラウド推論サービスに特化した初の実用的なプライバシー保護推論フレームワークです。
• 視覚パイプラインの正確な再パラメータ化：畳み込みパッチ化、ViT 特徴抽出、意味射影などの視覚モジュールに対し、サーバー側で混淆空間内での推論を可能にする、正確に相殺可能なパラメータ変換を設計しました。
• 隠れ状態反転攻撃への対応とカスタムチューニング：COVERT は浅層 ViT のアテンションにおける空間可逆性のリスクを特定し、軽量な効用感知型パラメータ調整によって、高忠実度での視覚再構築能力を抑制します。
• 性能とデプロイ効率の両立：主要な VLM 評価セットにおいて、COVERT は平均精度の低下を 3% 以内に抑え、vLLM 推論エンジン上でもスループットへのオーバーヘッドを 6% 未満に維持しました。

二、COVERT

1、ワークフロー

COVERT は、典型的な VLMaaS（Vision-Language Model as a Service）のシナリオを想定しています。ここではクライアントがプライベートな画像とテキストプロンプトを保持し、サーバー側で VLM をホストして推論能力を提供します。本システムは、一度きりのオフラインでのモデル混淆と軽量なオンライン推論を組み合わせたアプローチを採用しており、複雑な計算処理はクラウド上に残しつつも、サーバー側が平文の入力画像を直接観測することを防ぎます。

具体的な処理フローは以下の 3 つの段階から構成されます。

初期化とモデル混淆: クライアントは秘密鍵を用いて、視覚パイプラインやテキストコンポーネントに関連するパラメータを共変的に混淆させ、その結果をサーバーにデプロイします。

オンライン入力処理: 推論フェーズでは、クライアント側で画像のフラット化、テキストのトークン化、入力の混淆といった軽量な前処理のみを実行し、混淆されたプロンプトをクラウドへ送信します。

クラウドでの混淆推論とローカル復号: サーバーは混淆されたモデル上で推論を行い、結果を返却します。最終的な結果を復号できるのは、秘密鍵を持つクライアントのみです。

2. 共変混淆と視覚エンコーダーへの適応

COVERT は「共変混淆（Covariant Obfuscation）」の考え方を採用し、入力データとモデルパラメータを対になって変換します。単に入力データを撹乱する従来の手法とは異なり、共変混淆ではサーバー側が混淆された空間内で等価な計算を実行できるため、プライバシー保護を実現しつつも、モデルの機能整合性を維持できます。

VLM は通常、視覚エンコーダーと大規模言語モデル（LLM）のデコーダで構成されています。COVERT では、視覚エンコーダー内の主要モジュールに対してそれぞれ適応策を講じています。

• 畳み込みパッチ化モジュール: 畳み込み演算を行列乗算に書き換え、可逆関係を満たすランダム変換行列を構築します。クライアントは混淆された入力にゼロ空間ノイズを注入できますが、サーバー側での計算時にこのノイズは正確に相殺されます。これによりパッチ単位の視覚情報を保護しつつ、推論誤差を導入しません。

• ViT 特徴抽出モジュール: 大規模言語モデルで用いられる共変混淆の原理を継承し、視覚 Transformer に広く見られる加算バイアス、RoPE（Rotary Positional Embedding）の制約、FFN のゲート関数といった構造的課題にも対応します。これにより、混淆後の計算が元のモデルと整合性を持つことを保証します。

• 意味射影モジュール: ブロック対角逆変換、隠れ層の置換、共有アライメントマスクを用いることで、視覚特徴を混淆された LLM の意味空間へシームレスに統合し、その後の多モーダル生成を支えます。

3. 隠れ状態反演攻撃への防御

構造等価なパラメータの混淆だけでは、すべてのリスクをカバーできません。論文では、攻撃者が浅い層の ViT アテンションにおける空間的先行知識を利用し、高忠実度の隠れ状態反演攻撃を行って、ナンバープレートなどの機密視覚情報を復元する可能性が指摘されています。

この課題に対処するため、COVERT は「効用を考慮したパラメータ調整戦略」を導入しました。まず、ユーザーの秘密シードで制御されたガウスノイズを第 1 層の ViT アテンションパラメータに注入します。その後、公開画像データを用いてアテンション行列と正規化層を選択的に微調整し、他のパラメータは凍結します。このプロセスにより、最終的な隠れ状態は元のモデルとできるだけ一致させ、タスク性能を維持しつつも、中間のアテンションパターンを大きく変化させます。その結果、攻撃者が学習軌跡を再現したり空間構造を復元したりすることが困難になります。

3. 実験結果

1. 実験設定

2. 性能とプライバシー保護の両立

COVERT は、広く使われている5つのマルチモーダル評価セットにおいて、モデルの規模やバリエーションに関わらず安定したタスク性能を維持しています。Qwen2.5-VL シリーズでは、平均精度の低下は約1.83%〜2.58%に抑えられ、8-bit 量化バージョンでも約1.68%〜2.81%の範囲内に収まりました。

実験結果から、パラメータの冗長性が大きい大規模モデルほど、COVERT が導入するパラメータ擾乱に対して高い耐性を持つことが示されています。

プライバシー保護の観点では、COVERT は一般的な非適応型逆攻撃に対して空間構造を直接破壊し、攻撃結果をノイズへと退行させます。より強力な適応攻撃に対しても、カスタマイズされていない混濁（カモフラージュ）手法では浅層の視覚情報が漏洩するリスクが残りますが、COVERT のカスタム調整により、ViT の第1層における隠れ状態からの逆攻撃に対する SSIM は 0.3404 から 0.1550 へ低下（54.46% 改善）、MSE は 3275.28 から 4577.28 へと上昇（39.75% 改善）しました。これにより、攻撃者が隠れ状態から識別可能な機密視覚情報を復元することは極めて困難になります。

3. 効率性と実用性

クラウド環境での推論効率については、COVERT を vLLM 上で Qwen2.5-VL-32B にデプロイし、30 の並列リクエスト（各プロンプトに1,064 ビットの視覚トークンを含む）という条件下でテストしました。その結果、平文推論と比較して COVERT は TTFT を 0.86% だけ増加させ、TPOT を 8.65% 増加させるにとどまり、全体のスループットは 5.93% 低下するのみでした。

これは、COVERT が既存の VLM 推論エンジンが持つ KV-cache や並列デコード最適化を継承できていることを示しており、リアルタイムサービスへの展開要件を満たしています。

通信面では、視覚入力の混濁により追加の転送負荷が発生しますが、論文では次元拡張と量化レベルの調整を通じてこのコストを最適化しました。6-bit へ量化することで、転送拡張は約1.30倍に抑えられ、精度への影響も約2.39% に留まります。

複数のサーバー間での多段階通信が必要で、単一リクエストに数分を要する MPC（秘密計算）方式と比較すると、COVERT は標準的なクライアント・サーバーアーキテクチャ下におけるリアルタイム VLMaaS にとってより適したソリューションです。

四、まとめと展望

1. VLMaaS 向けの実用的なプライバシー保護フレームワーク

COVERT は、VLMaaS（Vision-Language Model as a Service）サービスにおける画像のプライバシーリスクに対応するため、安全性・モデル性能・推論効率を両立する「協変混濁（covariant obfuscation）」フレームワークを提案しました。視覚パイプラインの精密な再パラメータ化、隠れ状態反転攻撃に対する専用防御策、そしてテキストコンポーネントとの連携による混濁メカニズムを通じて、COVERT は多モーダルプライバシー保護を、高コストな安全計算から実運用可能なシステムへと進化させました。

実験結果では、Qwen2.5-VL、MiMo-VL、Fara など複数のモデルで安定した性能を発揮し、主要な多モーダルタスクにおける平均精度の低下は 3% 以内に抑えられました。また、高並列推論環境でもスループットへの影響を 6% 以内に抑制することに成功しています。この成果は、医療・金融・オフィス業務や企業向けエージェントなど、プライバシーが敏感な領域での VLMaaS 導入に向けた新たな技術的アプローチを提供するものです。

2. 今後の展望

VLM が複雑なビジネスプロセスにさらに深く組み込まれるにつれ、プライバシー保護は単なるコンプライアンス要件から、多モーダル AI サービスの信頼性を支える基盤能力へと進化します。COVERT は、モデル構造への適応とパラメータ空間での混濁によって実用的なプライバシー保護を実現できる可能性を示しました。今後は、通信コストのさらなる削減、より広範なモデルアーキテクチャへの対応、そして動画や長文脈を扱う多モーダルタスクなどへ研究範囲を広げていく予定です。

（微信アプリで詳細を開く）