テキスト埋め込みはテキストを完璧にエンコードするか？

ベクトルデータベースの台頭 近年の生成AIの急速な進歩の結果、多くの企業がAIを自社のビジネスに統合しようと躍起になっています。最も一般的な方法の一つは、文書データベース内にある情報に関して質問に答えるAIシステムを構築することです。このような問題に対するほとんどのソリューションは、一つの重要な技術に基づいています：検索拡張生成（RAG）です。 これは、AIを使い始めるための安価で簡単な方法として現在多くの人々が行っていることです：多くの文書をデータベースに保存し、AIに与えられた入力に対して最も関連性の高い文書を検索させ、検索された文書に基づいて入力に対する応答を生成します。 これらのRAGシステムは、埋め込みモデルによって生成された文書のベクトル表現である「埋め込み」を使用して、文書の関連性を判断します。これらの埋め込みは、何らかの類似性の概念を表現しているはずなので、検索に関連する文書は埋め込み空間で高いベクトル類似性を持つことになります。 RAGの普及は、ベクトルデータベースという新しいタイプのデータベースの台頭につながりました。これは、大量の埋め込みを保存し検索するために設計されたデータベースです。埋め込み検索を容易にすることでRAGを促進すると主張するスタートアップに、数億ドルの資金が提供されています。そして、RAGの有効性が、多くの新しいアプリケーションがテキストをベクトルに変換し、これらのベクトルデータベースに保存している理由です。 埋め込みは読みにくい では、テキスト埋め込みには何が保存されているのでしょうか？意味的類似性の要件を超えて、与えられたテキスト入力に対してどの埋め込みを割り当てなければならないかについての制約はありません。埋め込みベクトル内の数値は何でもよく、その初期化に基づいて変化します。埋め込みと他の埋め込みとの類似性を解釈することはできますが、埋め込みの個々の数値を理解する望みはまったくありません。 さて、あなたが自社のためにRAGシステムを構築しているソフトウェアエンジニアだと想像してください。ベクトルをベクトルデータベースに保存することに決めます。ベクトルデータベースでは、保存されているのは埋め込みベクトルであり、テキストデータそのものではないことに気づきます。データベースは、テキストデータを表すが一見ランダムに見える数値の行で埋め尽くされ、決してテキストデータを「見る」ことはありません。そのテキストが、会社のプライバシーポリシーで保護されている顧客文書に対応していることは知っています。しかし、実際にはテキストを社外に送信しているわけではありません。送信するのは、あなたにとってはランダムな数値に見える埋め込みベクトルだけです。誰かがデータベースにハッキングして、すべてのテキスト埋め込みベクトルにアクセスしたらどうなるでしょうか？これは悪いことでしょうか？あるいは、サービスプロバイダーがあなたのデータを広告主に売りたかったら、彼らはできるでしょうか？どちらのシナリオも、埋め込みベクトルを取得し、何らかの方法でテキストに逆変換できることを含みます。 テキストから埋め込みへ…そしてまたテキストへ 埋め込みからテキストを復元する問題は、まさに私たちの論文『Text Embeddings Reveal As Much as Text (EMNLP 2023)』で取り組んだシナリオです。埋め込みベクトルは、情報の保存と通信のための安全な形式でしょうか？簡単に言えば：入力テキストは出力埋め込みから復元できるでしょうか？ 解決策に飛び込む前に、問題をもう少し考えてみましょう。テキスト埋め込みは、ニューラルネットワークの出力であり、入力データに適用される非線形関数演算で結合された一連の行列乗算の結果です。従来のテキスト処理ニューラルネットワークでは、文字列入力は複数のトークンベクトルに分割され、それが非線形関数演算を繰り返し受けます。モデルの出力層では、トークンは平均化されて単一の埋め込みベクトルになります。 信号処理コミュニティで知られるデータ処理不等式という格言は、関数が入力に情報を追加することはできず、利用可能な情報量を維持または減少させることしかできないと教えています。ニューラルネットワークのより深い層は、より高次の表現を構築しているという通説があるにもかかわらず、それらは入力側から入ってこなかった世界に関する情報を一切追加していません。 さらに、非線形層は確かにいくつかの情報を破壊します。現代のニューラルネットワークで遍在する非線形層の一つが「ReLU」関数です。これは単にすべての負の入力をゼロに設定します。典型的なテキスト埋め込みモデルの多くの層を通してReLUを適用した後では、入力からのすべての情報を保持することは不可能です。 他の文脈での逆変換 情報内容に関する同様の疑問は、コンピュータビジョンコミュニティでも提起されてきました。いくつかの結果は、画像モデルからの深い表現（本質的には埋め込み）を使用して、ある程度の忠実度で入力画像を復元できることを示しています。初期の結果（Dosovitskiy, 2016）は、深層畳み込みニューラルネットワーク（CNN）の特徴出力から画像を復元できることを示しました。CNNからの高レベルな特徴表現が与えられると、彼らはそれを逆変換して、元の入力画像のぼやけたが類似したバージョンを生成できました。 2016年以来、画像埋め込み逆変換プロセスは改善されてきました：より高い精度で逆変換を行うモデルが開発され、より多くの設定で機能することが示されています。驚くべきことに、ImageNet分類器（1000クラスの確率）の出力から画像を逆変換できることを示した研究もあります。 vec2textへの道のり 画像表現に対して逆変換が可能なら、なぜテキストでは機能しないのでしょうか？テキスト埋め込みを復元するというおもちゃの問題を考えてみましょう。おもちゃの設定では、テキスト入力を32トークン（約25語、適度な長さの文）に制限し、それらすべてを768個の浮動小数点数からなるベクトルに埋め込みます。32ビット精度では、これらの埋め込みは 32 * 768 = 24,576 ビット、つまり約3キロバイトです。 多くのビットで表される少数の単語。このシナリオ内でテキストを完全に再構築できると思いますか？ まず最初に：私たちのタスクをどれだけうまく達成したかを知るために、良さの測定基準を定義する必要があります。一つの明白な指標は「完全一致」、つまり逆変換後に正確な入力をどれだけ頻繁に取り戻せるかです。以前の逆変換方法はどれも完全一致では成功していないので、かなり野心的な測定基準です。ですから、おそらく、逆変換されたテキストが入力にどれだけ類似しているかを測定する滑らかな測定基準から始めたいでしょう。このためにBLEUスコアを使用します。これは、逆変換されたテキストが入力にどれだけ近いかのパーセンテージと考えてください。 成功基準を定義したので、その基準で評価するアプローチを提案することに移りましょう。最初のアプローチとして、逆変換を従来の機械学習問題として提起することができ、私たちが知っている最善の方法、つまり埋め込みとテキストのペアの大規模なデータセットを収集し、埋め込みを入力として与えられたテキストを出力するようにモデルを訓練することでそれを解決します。 これが私たちが行ったことです。埋め込みを入力として受け取り、出力テキストに対して従来の言語モデリングを使用して訓練するトランスフォーマーを構築します。この最初のアプローチは、BLEUスコアが約30/100のモデルを提供します。実際には、モデルは入力テキストのトピックを推測し、いくつかの単語を取得できますが、それらの順序を失い、多くの場合、ほとんどの単語を間違えます。完全一致スコアはゼロに近いです。モデルに別のモデルの出力を単一のフォワードパスで逆転させるように要求することは、（完璧なソネット形式でテキストを生成したり、複数の属性を満たしたりするような他の複雑なテキスト生成タスクと同様に）非常に難しいことがわかります。 初期モデルを訓練した後、私たちは興味深いことに気づきました。モデル出力の品質を測定する別の方法は、生成されたテキスト（これを「仮説」と呼びます）を再埋め込みし、この埋め込みの類似性を真の埋め込みと比較することです。私たちのモデルの生成でこれを行うと、非常に高いコサイン類似性（約0.97）が見られます。これは、私たちが、埋め込み空間では近いが、正解テキストと同一ではないテキストを生成できることを意味します。 （余談：もしこれが事実でなかったらどうでしょうか？つまり、埋め込みモデルが私たちの誤った仮説に、元のシーケンスと同じ埋め込みを割り当てたとしたら？）

テキスト埋め込みはテキストを完璧にエンコードするか？

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト