言葉を見つけること：言語モデルの隠れ状態可視化

**言葉を見つける：言語モデルの隠れ状態可視化** モデルの層間の隠れ状態を可視化することで、モデルの「思考プロセス」についての手がかりを得ることができます。 **パート2：** トランスフォーマー言語モデルをより透明にする追求を続け、本記事では、事前学習済み言語モデル内部の言語生成メカニズムを明らかにする一連の可視化を紹介します。これらの可視化はすべて、私たちが公開しているオープンソースパッケージ「Ecco」を使用して作成されています。本シリーズの最初のパート「Interfaces for Explaining Transformer Language Models」では、入力サリエンシーとニューロン活性化のためのインタラクティブなインターフェースを紹介しました。本記事では、モデルの層から次の層へと進化する隠れ状態に焦点を当てます。各トランスフォーマーデコーダーブロックが生成する隠れ状態を見ることで、言語モデルが特定の出力トークンにどのように到達したかについての情報を得ることを目指します。この方法はVoitaらによって探求されています。Nostalgebraistは、モデルの様々な層を通じて進化する隠れ状態について、トークンのランキング、ロジットスコア、ソフトマックス確率の進化を示す説得力のある視覚的表現を提示しています。 **復習：トランスフォーマーの隠れ状態** 以下の図は、トランスフォーマー言語モデルがどのように機能するかを復習します。層が最終的な隠れ状態をどのように生み出すか。そしてその最終状態がどのように出力語彙空間に投影され、モデルの語彙に含まれる各トークンにスコアが割り当てられるか。ここでは、DistilGPT2に入力シーケンス「 1, 1, 」を与えたときの上位スコアトークンを見ることができます： # この入力文字列を完成させるために1トークンを生成する output = lm.generate(" 1, 1, 1,", generate=1) # 可視化する output.layer_predictions(position=6, layer=5) **各層後のスコア** モデルの内部隠れ状態に同じ投影を適用することで、入力の処理を通じて出力スコアに対するモデルの確信がどのように発展したかの見通しを得られます。内部隠れ状態のこの投影は、特定の潜在的な出力トークンのスコア（ひいてはランキング）を上げるのにどの層が最も貢献したかの感覚を与えてくれます。 隠れ状態の進化を見るということは、最終的なモデル状態を投影した候補出力トークンだけを見るのではなく、モデルの6つの層それぞれから生じる隠れ状態を投影した後の上位スコアトークンを見ることができることを意味します。 # 各層の後の上位スコアトークンを可視化する output.layer_predictions(position=6) **選択されたトークンの進化** 進化する隠れ状態に関する別の視覚的視点は、出力トークンを選択した後で隠れ状態を再検討し、各層後の隠れ状態がそのトークンをどのようにランク付けしたかを見ることです。これはNostalgebraistによって探求された多くの視点の一つであり、私たちが最初のアプローチとして優れていると考えるものです。横の図では、トークン「 1」のランキング（モデルの語彙にある+50,0000トークン中）を見ることができ、各行はある層の出力を示しています。 同じ可視化は、生成されたシーケンス全体に対してプロットすることができ、各列は生成ステップ（とその出力トークン）を、各行は各層での出力トークンのランキングを示します： GPT2-Largeに以下の入力を与えることで、この可視化を実演してみましょう： 隠れ状態の進化を可視化することは、以下の図で見られるように、様々な層がこのシーケンスの生成にどのように貢献するかを明らかにします： **図：出力シーケンスの隠れ状態進化** 画像をクリックしてフル解像度で開きます。この図は以下を明らかにしています：改行とピリオドに対応する濃いピンク色の列。層#0以降、モデルはこれらのトークンについて早期に確信しており、層#0が特定の構文的特性を認識している（そして後の層は異議を唱えない）ことを示唆しています。 国名が予測される列は上部が非常に明るく、適切なトークンを実際に思いつくのは最後の5つの層次第です。 増加する数字を追跡する列は、層#9で解決される傾向があります。 モデルは誤ってチリをリストに挙げています（EUの国ではありません）。しかし、そのトークンのランキングが43であることに注意してください――この誤りは、モデル自体というよりも、私たちのトークンサンプリング方法に起因する可能性が高いことを示しています。他のすべての国の場合は正しく、上位3位以内でした。 チリを除いて、残りの国は正しく、また入力シーケンスで使われたアルファベット順にも従っています。 **他のトークンのランキング** 特定の位置について、選択された1つのトークンの進化だけを見ることに限定されません。モデルが選択したかどうかに関わらず、同じ位置にある複数のトークンのランキングを比較したい場合があります。 そのようなケースの一つが、Linzenらによって記述された数予測タスクで、これは英語の主語と動詞の一致という現象から生じます。そのタスクでは、モデルが構文的な数（扱っている主語が単数か複数か）と構文的な主語性（文中のどの主語を扱っているか）をエンコードする能力を分析したいと考えます。 簡単に言えば、空白を埋める問題です。唯一許容される答えは1) is 2) areです： The keys to the cabinet ______ 正しく答えるには、まず、鍵（可能性のある主語#1）について述べているのか、キャビネット（可能性のある主語#2）について述べているのかを決定しなければなりません。それが鍵であると決めたら、次にそれが単数か複数かを決定します。 最初の質問に対するあなたの答えを、以下のバリエーションと比較してください： The key to the cabinets ______ このセクションの図は、トークン「 is」と「 are」の隠れ状態進化を可視化しています。セル内の数字は、空白の位置におけるそれらのランキングです（両方の列はシーケンス内の同じ位置を扱っており、前の可視化のように連続した位置ではありません）。 最初の図（「The keys to the cabinet」シーケンスのランキングを示す）は、なぜ5つの層がタスクに失敗し、最終層だけが正しく設定するのかという疑問を提起します。これはおそらく、BERTで観察された、最終層が最もタスク特異的であるという効果と似ています。また、このタスクを成功させる能力が主に層5に局在しているのか、あるいは層が、主語と動詞の一致に特に敏感な、複数の層にまたがる回路における最終的な表現に過ぎないのかを調査する価値があります。 **バイアスの調査** この方法は、バイアスの問題と、それがモデルのどこで生じる可能性があるかを明らかにすることができます。例えば、以下の図は、異なる職業に関連するモデルの性別期待を調査しています： **図：職業と性別の関連におけるモデルのバイアス調査 - 医師と看護師** 最初の5つの層は、両方の職業で「 man」を「 woman」よりも高いランクに位置付けています。看護師という職業については、最終層が決定的に「 woman」を「 man」よりも高いランクに引き上げています。 文脈化された単語埋め込み（これまで「隠れ状態」と呼んできたベクトルの別名）におけるバイアスのより体系的でニュアンスのある調査は、 で見つけることができます。 **出力トークンスコア** **選択されたトークンの進化** **トークンランキングの比較** 入力: "Heathrow airport is located in the city of" モデル: DistilGPT2 入力: "Some of the most glorious historical attractions in Spain date from the period of Muslim rule, including The Mezquita, built as the Great Mosque of Cordoba and the Medina Azahara, also in Cordoba and now in ruins but still visitable as such and built as the Madinat al-Zahra, the Palace of al-Andalus; and the Alhambra in Granada, a splendid, intact palace. There are also two synagogues still standing that were built during the era of Muslim Spain: Santa Maria la Blanca in Toledo and the Synagogue of Cordoba, in the Old City. Reconquista and Imperial era" モデル: DistilGPT2 モデル: GPT2-Large 入力: "The countires of the European Union are"

言葉を見つけること：言語モデルの隠れ状態可視化

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト