モデルのロジットは何を保持しているのか？（答えは驚くべきものかもしれない！）
本文の状態
日本語全文を表示中
詳細モードで約1分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Apple Machine Learning
研究者はビジョン言語モデルを用い、内部ロジットから生成出力へ圧縮される過程で保持される情報の違いを比較した。これにより、モデル所有者が想定しない情報がユーザーに漏洩するリスクを明らかにした。
Continue in AI NEW LAB
このニュースを、実務の判断につなげる
AI NEW LABで、試したことや先に確認したい条件を共有できます。まずはログインなしで読めます。
AI NEW LABで論点を見るSource Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
最近の研究により、モデル内部（model internals）をプロービング（probing）することで、モデルの生成結果（generations）からは明らかにならない豊富な情報が明らかにされることが示されています。
これにより、意図しない、あるいは悪意のある情報漏洩（information leakage）のリスクが生じます。モデル所有者がアクセス不可能だと想定していた情報を、モデル利用者が学習できてしまう可能性があります。
ビジョン・ランゲージモデル（vision-language models）を検証基盤（testbed）として用い、残差ストリーム（residual stream）に符号化された豊富な情報が、2つの自然なボトルネック——残差ストリームの低次元射影（low-dimensional projections）……——を経て圧縮される過程で、異なる「表現レベル」（representational levels）に保持される情報について、最初の体系的な比較を示します。
原文を表示
Recent work has shown that probing model internals can reveal a wealth of information not apparent from the model generations. This poses the risk of unintentional or malicious information leakage, where model users are able to learn information that the model owner assumed was inaccessible. Using vision-language models as a testbed, we present the first systematic comparison of information retained at different “representational levels” as it is compressed from the rich information encoded in the residual stream through two natural bottlenecks: low-dimensional projections of the residual…
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み