グラフのように話す：大規模言語モデルのためのグラフエンコーディング

投稿者: Bahare Fatemi および Bryan Perozzi, リサーチサイエンティスト, Google Research

あなたの周りのすべてのもの――友達、キッチンの道具、自転車の部品さえも――を想像してみてください。それらはすべて様々な方法で繋がっています。コンピュータサイエンスでは、物体間の関係を記述するために グラフ という用語が使われます。グラフはノード（物体そのもの）とエッジ（2つのノード間の関係を示す接続）で構成されます。グラフは今やどこにでも存在します。インターネット自体が、リンクで繋がったウェブサイトの巨大なグラフです。検索エンジンが利用する知識でさえ、グラフのような形で整理されています。

さらに、人工知能の目覚ましい進歩――数秒で物語を書けるチャットボットや、医療報告書を解釈できるソフトウェアさえも――を考えてみてください。このエキサイティングな進歩は、大規模言語モデル（LLM）に大きく負っています。新しいLLM技術は、様々な用途に向けて絶えず開発されています。

グラフはどこにでも存在し、LLM技術は台頭しているため、 ICLR 2024 で発表した論文「 Talk like a Graph: Encoding Graphs for Large Language Models 」において、強力なLLMにグラフ情報をより良く推論する方法を教える手法を紹介します。グラフは情報を整理するのに有用な方法ですが、LLMは主に通常のテキストで訓練されています。目的は、様々な技術をテストして何が最適かを確認し、実用的な知見を得ることです。グラフをLLMが理解できるテキストに変換することは、非常に複雑な作業です。その難しさは、複数のノードと、それらを繋ぐ複雑なエッジの網からなるグラフ構造の本質的な複雑さに起因します。私たちの研究は、グラフを取得し、LLMが理解できる形式に変換する方法を調査します。また、 GraphQA というベンチマークを設計し、様々なグラフ推論問題における異なるアプローチを研究し、LLMがグラフ問題を解決できるようにグラフ関連の問題をどのように 表現するか を示します。私たちは、グラフ推論タスクにおけるLLMの性能が、3つの基本的なレベルで変化することを示します：1) グラフ符号化方法、2) グラフタスク自体の性質、そして3) 興味深いことに、考慮されるグラフの構造そのものです。これらの発見は、LLMのためにグラフを最適に表現する方法についての手がかりを与えてくれます。適切な方法を選択することで、LLMのグラフタスクにおける性能を最大60%向上させることができるのです！

図は、2つの異なるアプローチを用いてグラフをテキストとして符号化し、そのテキストとグラフに関する質問をLLMに与えるプロセスを示しています。

テキストとしてのグラフ

グラフをテキストに変換する最良の方法が何かを体系的に見つけ出すために、私たちはまず GraphQA というベンチマークを設計しました。GraphQAは、強力なLLMをグラフ特有の問題で評価するために設計された試験だと考えてください。私たちは、LLMが様々な設定でグラフを含む問題をどの程度理解し解決できるかを知りたいのです。LLMのための包括的で現実的な試験を作成するために、私たちは単一のタイプのグラフを使用するのではなく、様々なグラフを混ぜて使用し、確実に

グラフのように話す：大規模言語モデルのためのグラフエンコーディング

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト