The Illustrated Retrieval Transformer｜図解リトリーバルトランスフォーマー

イラストで解説する検索トランスフォーマー ディスカッション: コメント、修正、フィードバックはこちらのディスカッションスレッドへ。翻訳: 韓国語、ロシア語 要約: 最新の言語モデルは、データベースへの問い合わせやウェブ検索によって情報を得られるようにすることで、はるかに小型化しながらもGPT-3と同等の性能を達成できます。これは、性能向上の唯一の道がモデルの巨大化ではないことの重要な指標です。 ここ数年、大規模言語モデル（LLM）が台頭しました。これは、機械による言語処理と生成の能力を急速に向上させる機械学習モデルです。2017年以降の主なハイライトは以下の通りです。 オリジナルのTransformerが、機械翻訳の従来の性能記録を塗り替えました。 BERTが、事前学習とその後でのファインチューニングというプロセス、およびTransformerベースの文脈化単語埋め込みを一般化させました。その後すぐにGoogle検索やBing検索の核となりました。 GPT-2が、機械が人間と同等の文章を書く能力を示しました。 最初にT5、次にT0が、転移学習（あるタスクでモデルを訓練し、その後関連する他のタスクでも良好に機能させる）の限界を押し広げ、多様なタスクをテキストからテキストへのタスクとして提示しました。 GPT-3は、生成モデルの大規模なスケーリングが驚くべき創発的応用（産業界はGopherやMT-NLGなど、より大規模なモデルの訓練を続けています）につながることを示しました。 しばらくの間、性能を向上させる主要な方法は、ますます大規模なモデルにスケールすることであるように思われました。DeepMindのRETRO TransformerやOpenAIのWebGPTといったこの分野の最近の発展は、検索/情報照会の方法を組み込むことで、より小型の生成言語モデルが巨大モデルと同等の性能を発揮できることを示し、このトレンドを逆転させています。 この記事では、DeepMindのRETRO（Retrieval-Enhanced TRansfOrmer）とその仕組みを解説します。このモデルは、GPT-3の4%のサイズ（GPT-3 Da Vinciの1850億パラメータに対し75億パラメータ）にもかかわらず、GPT-3と同等の性能を発揮します。 RETROは論文『Improving Language Models by Retrieving from Trillions of Tokens』で発表されました。これは研究コミュニティにおける多様な検索関連の研究を継承し、発展させたものです。この記事は、特に新奇な点ではなく、モデルそのものについて説明します。 なぜこれが重要なのか：言語情報と世界知識情報の分離 言語モデリングは、本質的には、文章の末尾の空白を埋める（次の単語を予測する）ようにモデルを訓練します。 空白を埋めるには、事実情報（例えば名前や日付）の知識が必要な場合があります。例えば： 他の場合では、言語への習熟さえあれば、空白に入るものを推測できます。例えば： この区別が重要なのは、LLMが知っているすべてのことをモデルのパラメータ内にエンコードしているからです。これは言語情報については理にかなっていますが、事実や世界知識の情報については非効率です。 言語モデルに検索方法を含めることで、モデルをはるかに小さくすることができます。ニューラルデータベースが、テキスト生成中に必要な事実情報を検索するのを支援します。 訓練データの記憶量が減るため、小型言語モデルでは訓練が高速になります。誰もがより小型で手頃なGPU上にこれらのモデルをデプロイし、必要に応じて調整できます。 機構的には、RETROはオリジナルのTransformerと同様にエンコーダ-デコーダモデルです。しかし、検索データベースの助けを借りて入力シーケンスを拡張します。モデルはデータベース内で最も確からしいシーケンスを見つけ、それを入力に追加します。RETROはその魔法を働かせて出力予測を生成します。 モデルアーキテクチャを探る前に、検索データベースについてさらに深く掘り下げましょう。 RETROの検索データベースを調査する データベースはキー・バリューストアです。 キーは標準的なBERT文埋め込みです。 バリューは2つの部分からなるテキストです： 近傍：キーの計算に使用される部分 補完：元の文書におけるテキストの続き RETROのデータベースは、MassiveTextデータセットに基づく2兆の多言語トークンを含みます。近傍チャンクと補完チャンクのいずれも、最大64トークンの長さです。 RETROは入力プロンプトを複数のチャンクに分割します。簡単のため、1つのチャンクがどのように検索テキストで拡張されるかに焦点を当てます。ただし、モデルは入力プロンプト内の各チャンク（最初を除く）に対してこの処理を行います。 データベース検索 RETROに入力される前に、入力プロンプトはBERTに入力されます。出力された文脈化ベクトルは平均化され、文埋め込みベクトルが構築されます。そのベクトルはデータベースへのクエリとして使用されます。 その文埋め込みは、近似最近傍探索（https://github.com/google-research/google-research/tree/master/scann）で使用されます。 最も近い2つの近傍が検索され、そのテキストがRETROへの入力の一部となります。 これがRETROへの入力となります。入力プロンプトと、データベースから得られたその2つの最も近い近傍（およびその続き）です。 ここから、TransformerとRETROブロックがその情報を処理に組み込みます。 高レベルでのRETROアーキテクチャ RETROのアーキテクチャは、エンコーダスタックとデコーダスタックで構成されます。 エンコーダは標準的なTransformerエンコーダブロック（自己注意＋FFNN）で構成されています。私の理解の限りでは、Retroは2つのTransformerエンコーダブロックで構成されるエンコーダを使用しています。 デコーダスタックは2種類のデコーダブロックを交互に配置しています： 標準Transformerデコーダブロック（ATTN + FFNN） RETROデコーダブロック（ATTN + チャンク化クロスアテンション(CCA) + FFNN） まず、検索された近傍を処理するエンコーダスタックを見てみましょう。これにより、後にアテンションに使用されるKEYSおよびVALUES行列が生成されます（復習にはThe Illustrated Transformerを参照）。 デコーダブロックは、GPTが行うのと同様に、入力テキストを処理します。プロンプトトークンに対して自己注意を適用し（因果的に、つまり過去のトークンのみに注意を向け）、その後FFNN層を通過させます。 RETROデコーダに到達した時点で、初めて検索された情報の組み込みが始まります。9番目から始めて3ブロックごとにRETROブロックが配置されます（これにより、その入力は近傍に注意を向けることができます）。したがって、9、12、15…32層がRETROブロックです（2つのより小型のRetroモデルとRetrofitモデルでは、これらの層は9層目ではなく6層目から始まります）。 したがって実質的に、これが検索された情報が必要な日付を参照してプロンプトを完成させることができるステップです。 言語モデルを検索技術で支援することは、活発な研究領域です。この分野の以前の研究には以下が含まれます： Improving Neural Language Models with a Continuous Cache Generalization through Memorization: Nearest Neighbor Language Models Meta AIのRetrieval Augmented Generationブログを読み、Jackie Chi Kit Cheungの講義『Leveraging External Knowledge in Natural Language Understanding Systems』を参照してください。 SPALM: Adaptive Semiparametric Language Models DPR: Dense Passage Retrieval for Open-Domain Question Answering REALM: Retrieval-Augmented Language Model Pre-Training FiD: Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering EMDR: End-to-End Training of Multi-Document Reader and Retriever for Open-Domain Question Answering BlenderBot 2.0: Internet-Augmented Dialogue Generation 修正やフィードバックは、このスレッドに投稿するか、Twitterで私に連絡してください。 ![](/images/retro/deepmind-retro-retrieval-transformer.png) ![](/images/retro/prompt-1.png) ![](/images/retro/prompt-2.png) ![](/images/retro/Large-GPT-vs-Retro-transformer-world-knowledge-information.png) ![](/images/retro/dune-prompt-into-retro-transformer-4.png) ![](/images/retro/database-key-value-examples.png) ![](/images/retro/bert-sentence-embedding.png) ![](/images/retro/neighbor-retrieval-from-retro-neural-database-with-bert-embeddings.png) ![](/images/retro/input-prompt-and-retrieved-text-retro-transformer.png) ![](/images/retro/Retro-transformer-encoder-decoder-stacks-2.png) ![](/images/retro/retro-transformer-blocks-4.png) ![](/images/retro/retro-encoder-block-keys-values-2.png) ![](/images/retro/retro-transformer-decoders-2.png) ![](/images/retr

図解リトリーバルトランスフォーマー

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト