大規模言語モデルの能力を向上させる新手法

ほとんどの言語は、意味を抽出するために単語の位置と文構造を利用します。例えば、「猫が箱の上に座った」は「箱が猫の上にあった」と同じではありません。財務文書や小説のような長文では、これらの単語の統語構造はおそらく変化していきます。 同様に、人はコード内の変数を追跡したり、条件付きのアクションを含む指示に従ったりするかもしれません。これらは、最先端の人工知能システムに優れた能力を期待される「状態変化」と「逐次推論」の例です。しかし、大規模言語モデル（LLM）において単語の重要性を決定する主要アーキテクチャであるトランスフォーマー内の、既存の最先端アテンションメカニズムには、こうした能力に関して理論的・経験的限界があります。 アテンションメカニズムにより、LLMはクエリや文書の前の部分を参照し、その学習に基づいてどの詳細や単語が最も重要かを判断できます。しかし、このメカニズム単体では単語の順序を理解しません。それは全ての入力単語（すなわちトークン）を同時に「見て」、提示された順序で処理するため、研究者は位置情報をエンコードする技術を開発してきました。これは言語のように高度に構造化された領域では重要です。しかし、主流の位置エンコーディング手法であるロータリーポジションエンコーディング（RoPE）は、シーケンス内のトークン間の相対距離のみを考慮し、入力データに依存しません。これは、例えば前述の例の「猫」と「箱」のように4つ離れた位置にある単語は全て、その相対距離に特有の同じ固定された数学的回転を受け取ることを意味します。 今回、MITおよびMIT-IBMワトソンAI研究所が主導する研究により、「PaTH Attention」と呼ばれるエンコーディング技術が生み出されました。これは、RoPEのように静的ではなく、位置情報を適応的かつ文脈を認識するものとします。 「トランスフォーマーは多くの領域で正確でスケーラブルなモデリングを可能にしますが、状態追跡に関しては限界があります。状態追跡は、我々がAIシステムに求める重要な能力の基盤と考えられる現象のクラスです。ですから、重要な問いはこうです：トランスフォーマーのスケーラビリティと効率性を維持しつつ、どのように状態追跡を可能にできるか？」と、論文の上席著者で電気工学・計算機科学科（EECS）准教授、計算機科学・人工知能研究所（CSAIL）メンバー、MIT-IBMワトソンAI研究所の研究者であるYoon Kim氏は述べています。 この研究に関する新たな論文は、今月初めにニューラル情報処理システム会議（NeurIPS）で発表されました。Kim氏の共著者には、筆頭著者でEECS大学院生かつ元MIT-IBMワトソンAI研究所サマープログラムインターンのSonglin Yang氏、スタンフォード大学のKaiyue Wen氏、マイクロソフトのLiliang Ren氏、IBMリサーチおよびMIT-IBMワトソンAI研究所のYikang Shen氏、Shawn Tan氏、Mayank Mishra氏、Rameswar Panda氏が含まれます。 **理解への道** RoPEがトークン間の相対距離に基づいて全ての単語に固定回転を割り当てるのに対し、PaTH Attentionは柔軟で、中間の単語を小さなデータ依存の変換からなる「パス」として扱います。ハウスホルダー反射と呼ばれる数学的操作に基づく各変換は、通過する各トークンの内容に応じて調整される小さな鏡のように機能します。シーケンス内の各ステップは、モデルが後続の情報をどのように解釈するかに影響を与え得ます。累積効果により、システムは単語間の距離だけでなく、意味がパスに沿ってどのように変化するかをモデル化できます。このアプローチにより、トランスフォーマーはエンティティと関係性が時間とともにどう変化するかを追跡し、「位置記憶」の感覚を得ることができます。これは、環境を体験し、それが自身にどう影響するかを感じながら道を歩くようなものです。さらに、チームはハードウェア効率の良いアルゴリズムも開発し、あらゆるトークンペア間のアテンションスコアをより効率的に計算できるようにしました。これにより、PaTH Attentionによる累積的な数学的変換が圧縮され、より小さな計算に分解されるため、GPU上での高速処理と互換性を持ちます。 MIT-IBMの研究者たちはその後、PaTH Attentionの性能を、推論、長文コンテキストベンチマーク、完全なLLM学習を含む、合成的および実世界のタスクで検証し、モデルの時間経過に伴う情報追跡能力が向上するかを確認しました。チームは、多くの気を散らすステップや多段階想起テストがある中で、最新の「書き込み」コマンドに従う能力をテストしました。これらのタスクは、RoPEのような標準的な位置エンコーディング手法では困難です。研究者たちはまた、中規模のLLMを学習させ、他の手法と比較しました。PaTH Attentionはパープレキシティ（困惑度）を改善し、学習されていない推論ベンチマークにおいて他の手法を上回りました。さらに、数万トークン規模の入力に対する検索、推論、安定性も評価しました。PaTH Attentionは一貫して文脈認識能力を発揮しました。 「トランスフォーマーの限界をテストするために設計された診断タスクと、実世界の言語モデリングタスクの両方において、我々の新しいアプローチは既存のアテンションメカニズムの効率性を維持しつつ、それを上回る性能を示すことができました」とKim氏は述べています。さらに、「このようなPaTHのようなデータ依存の位置エンコーディングが、生物学のような構造化された領域、例えばタンパク質やDNAの[分析]において、トランスフォーマーの性能を向上させるかどうかを知ることに興奮しています。」 **より大きく、より効率的に考える** 研究者たちは次に、PaTH Attentionメカニズムが、意思決定において古い情報や関連性の低い情報を無視するという、人間の認知により近い形で動作した場合の性能を調査しました。このため、彼らはPaTH Attentionを、モデルが選択的に「忘れる」ことを可能にする別の位置エンコーディング手法であるForgetting Transformer（FoX）と組み合わせました。その結果生まれたPaTH-FoXシステムは、データ依存の方法で情報の重みを減衰させる方法を追加し、推論、長文コンテキスト理解、言語モデリングベンチマーク全体で強力な結果を達成しました。このようにして、PaTH Attentionはトランスフォーマーアーキテクチャの表現力を拡張します。 Kim氏は、このような研究はAIにおける「次の大きな進歩」を開発するためのより広範な努力の一部であると述べています。彼は、深層学習と生成AI革命の両方の主要な推進力は、「畳み込み層、RNN [リカレントニューラルネットワーク]層」、そして近年ではトランスフォーマーのような「広範な領域に適用可能な汎用ビルディングブロック」の創造であったと説明します。将来を見据え、Kim氏は、精度、表現力、柔軟性、ハードウェアスケーラビリティといった考慮事項が従来重要であり、今後も不可欠であると指摘します。彼の言葉を借りれば、「現代のアーキテクチャ研究の中核的な事業は、表現力を維持または向上させながら、同時にスケーラブルでもある新たなプリミティブを考案することです。」 この研究は、MIT-IBMワトソンAI研究所およびシュミット・サイエンスAI2050プログラムの一部支援を受けています。

大規模言語モデルの能力を向上させる新手法

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト