Financial Market Applications of LLMs｜大規模言語モデルの金融市場への応用

**タイトル: LLMの金融市場への応用** 2023年、AI革命は民間・上場企業双方への熱狂的な投資を駆り立て、人々の想像力を掻き立てた。ChatGPTのような変革的な消費者向け製品は、単語やその一部を表すトークンのシーケンスをモデル化することに優れた大規模言語モデル（LLM）によって支えられている[2]。驚くべきことに、次のトークンを予測する学習から構造的な理解が生まれ、エージェントは翻訳、質問応答、単純なユーザープロンプトからの人間らしい文章生成といったタスクを遂行できるようになる。 当然のことながら、クオンツトレーダーたちは問うた：これらのモデルを次の価格や取引予測に転用できるか？[1,9,10] つまり、単語のシーケンスではなく、価格や取引のシーケンスをモデル化できるか、ということだ。これは、生成AIと金融時系列モデリングの双方について多くを明らかにする興味深い研究分野であることがわかっている。ただし、これから先は少々マニアックになることをお断りしておく。 LLMは自己回帰学習器として知られている——つまり、シーケンス内の前のトークンや要素を使って次の要素やトークンを予測するものである。量的取引、例えば株式の統計的裁定取引のような戦略において、ほとんどの研究は自己回帰的構造の特定に関心がある。それは、将来の価格を最もよく予測するニュース、注文、または根本的な変化のシーケンスを見つけることを意味する。 問題が生じるのは、モデルを訓練するために利用可能なデータの量と情報内容においてである。2023年のNeurIPSカンファレンスで、高頻度取引会社のハドソン・リバー・トレーディングは、GPT-3の訓練に使用された入力トークン数と、株式市場データで年間利用可能な訓練可能トークン量との比較を発表した。HRTは、3,000の取引可能株式、1日当たり1銘柄10データポイント、年間252取引日、1取引日23,400秒と仮定すると、市場データとして年間1,770億の株式市場トークンが利用可能と推定した。GPT-3は5,000億トークンで訓練されており、それほど離れていない[6]。 しかし、取引の文脈では、トークンは音節や単語ではなく、価格やリターン、取引となる。前者の予測ははるかに難しい。言語には基礎となる言語構造（例：文法）が存在する[7]。人間が文の次の単語を予測することを想像するのは難しくないが、同じ人間が、一連の過去の取引が与えられたときに次のリターンを予測するのは極めて困難であるため、億万長者のデイトレーダーがいないのである。課題は、市場のあらゆるシグナルを競い合って消し去ってしまう非常に賢い人々が存在し、市場をほぼ効率的に（経済学者ラッセ・ペダーセンの言葉を借りれば「効率的に非効率的」に）し、したがって予測不可能にしていることだ。文をより予測困難にしようと積極的に試みる敵対者は存在しない——むしろ、著者は通常、自分の文を理解しやすく、したがってより予測可能にしようとする。 別の角度から見ると、金融データにはシグナルよりもはるかに多くのノイズが存在する。個人や機関は、合理的でなかったり、企業の根本的な変化に関連していない理由で取引している可能性がある。2021年のGameStop事件はその一例である。金融時系列もまた、新しい根本的な情報、規制の変化、通貨切り下げのような時折の大きなマクロ経済的シフトによって絶えず変化している。言語ははるかに遅いペースで、より長い時間軸で進化する。 一方で、AIからのアイデアが金融市場でうまく機能するだろうと信じる理由もある。金融への応用が期待されるAI研究の新興分野の一つがマルチモーダル学習である[5]。これは、例えば画像とテキスト入力の両方といった、異なるモダリティのデータを使用して統一モデルを構築することを目指す。OpenAIのDALL-E 2モデルでは、ユーザーがテキストを入力するとモデルが画像を生成する。金融では、マルチモーダルの取り組みは、技術的な時系列データ（価格、取引、出来高など）といった古典的な情報源と、ツイッター上のセンチメントやグラフィカルな相互作用、自然言語のニュース記事や企業報告書、商品中心の港の船舶活動の衛星画像といった異なるモードの代替データとを組み合わせるのに有用である可能性がある。ここでは、マルチモーダルAIを活用することで、これらすべての種類の非価格情報を組み込んで、うまく予測することが潜在的に可能となる。 「残差化」と呼ばれる別の戦略は、金融とAIの両方で重要な位置を占めているが、両分野で異なる役割を担っている。金融では、構造的「ファクター」モデルが、異なる資産にわたるリターンの同時観測を、共有成分（市場リターン、またはより一般的には市場全体に共通するファクターのリターン）と、各原資産に固有の特異的成分に分解する。市場およびファクターリターンは予測が難しく相互依存性を生み出すため、個々の資産レベルで予測を行う際に共通要素を取り除き、データ内の独立した観測値を最大化することはしばしば有益である。 トランスフォーマーなどの残差ネットワークアーキテクチャでは、入力Xの関数h(X)を学習したいが、恒等写像に対するh(X)の残差、すなわちh(X) – Xを学習する方が簡単かもしれないという類似の考え方がある。ここで、関数h(X)が恒等写像に近い場合、その残差はゼロに近くなり、したがって学習すべきことが少なくなり、より効率的に学習できる。どちらの場合も目標は、構造を利用して予測を洗練させることである：金融のケースでは、市場全体が示唆するものを超えた革新部分（イノベーション）の予測に焦点を当てるという考えであり、残差ネットワークの場合は恒等写像への革新部分の予測に焦点を当てる。 LLMの印象的な性能のための重要な要素は、コンテキストウィンドウとして知られる長期間にわたるトークン間の親和性や強度を見分ける能力である。金融市場では、長期間にわたって注意を集中させる能力により、マルチスケール現象の分析が可能になり、市場変化のいくつかの側面が非常に異なる時間軸で説明される。例えば、一方の極端として、根本的な情報（例：業績）は数か月かけて価格に取り込まれる可能性があり、技術的現象（例：モメンタム）は数日で実現する可能性があり、もう一方の極端として、微細構造現象（例：オーダーブックの不均衡）は数秒から数分の時間軸を持つ可能性がある。 これらすべての現象を捉えるには、コンテキストウィンドウ全体で複数の時間軸を分析することが必要である。しかし、金融では、複数の将来の時間軸にわたる予測も重要である。例えば、量的システムは、複数の時間軸で実現する複数の異なるアノマリーから利益を得るために取引しようとするかもしれない（例：微細構造イベントと業績イベントに同時に賭ける）。これは、株式の次の期間のリターンだけでなく、期待リターンの全期間構造または軌跡を予測することを必要とするが、現在のトランスフォーマー式予測モデルは将来の1期間しか見ていない。 LLMのもう一つの金融市場への応用は、合成データ生成かもしれない[4,8]。これはいくつかの方向性を取り得る。市場で観察される特性を模倣した模擬株価軌跡を生成することができ、上述の利用可能トークン数で強調されたように、金融市場データが他の情報源に比べて乏しいことを考えると、非常に有益である可能性がある。人工データは、例えばロボティクスで成功裏に適用されてきたメタ学習技術への扉を開く可能性がある。ロボット設定では、コントローラーは、高価な現実世界のロボット実験を使用して較正される前に、安価だが必ずしも正確ではない物理シミュレーターを使用して最初に訓練される。金融では、シミュレーターを使用して取引戦略を大まかに訓練し最適化することができる。モデルは、リスク回避や分散化のような高次の概念や、取引の価格影響を最小化するためにゆっくり取引するといった戦術的概念を学習する。その後、貴重な実市場データを使用して予測を微調整し、取引する最適な速度を正確に決定することができる。 金融市場の実務家たちは、

大規模言語モデルの金融市場への応用

背景や根拠まで確認しますか？

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

ニュースの次に確認する

調べる

選ぶ

サイト