グラフのように話す：大規模言語モデルのためのグラフエンコーディング
本文の状態
日本語全文を表示中
詳細モードで約3分の本文を読めます。
同じ出来事の情報源
この情報源を基点に整理
Google Research Blog
Google研究者が、グラフ構造を大規模言語モデルで効果的に処理するためのエンコーディング手法を開発。グラフデータの理解と生成能力向上に寄与。
Source Article
元記事を日本語で読む
本文に関係しない購読案内、埋め込み通知、サイト内プロモーションは除いています。
<span class="byline-author">投稿者: Bahare Fatemi および Bryan Perozzi, リサーチサイエンティスト, Google Research</span>
<img src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg8L7r_SCzFsKsWegtrn8_EOoO2imefs-V_GVHzbM0Xw7GmAxoXIIX0RtpJ2JvloeenxcKCNmhCH_VXRMpu8b5dJP39UkhMJS0wP86TUftZtUi-hfj6tZdVEn30MZAeQEx762q1vN-q4DWP2EdOBIHy_CgNFMcliaJYnzxZHjnuifbVWy52zlls20m4BkyJ/s1600/Screenshot%202024-03-12%20at%202.18.27%E2%80%AFPM.png" style="display: none;" />
<p>
あなたの周りのすべてのもの――友達、キッチンの道具、自転車の部品さえも――を想像してみてください。それらはすべて様々な方法で繋がっています。コンピュータサイエンスでは、物体間の関係を記述するために<em><a href="https://en.wikipedia.org/wiki/Graph_(discrete_mathematics)">グラフ</a></em>という用語が使われます。グラフはノード（物体そのもの）とエッジ（2つのノード間の関係を示す接続）で構成されます。グラフは今やどこにでも存在します。インターネット自体が、リンクで繋がったウェブサイトの巨大なグラフです。検索エンジンが利用する知識でさえ、グラフのような形で整理されています。
</p><a name='more'></a>
<p>
さらに、人工知能の目覚ましい進歩――数秒で物語を書けるチャットボットや、医療報告書を解釈できるソフトウェアさえも――を考えてみてください。このエキサイティングな進歩は、大規模言語モデル（LLM）に大きく負っています。新しいLLM技術は、様々な用途に向けて絶えず開発されています。
</p>
<p>
グラフはどこにでも存在し、LLM技術は台頭しているため、<a href="https://iclr.cc/">ICLR 2024</a>で発表した論文「<a href="https://openreview.net/forum?id=IuXR1CCrSi">Talk like a Graph: Encoding Graphs for Large Language Models</a>」において、強力なLLMにグラフ情報をより良く推論する方法を教える手法を紹介します。グラフは情報を整理するのに有用な方法ですが、LLMは主に通常のテキストで訓練されています。目的は、様々な技術をテストして何が最適かを確認し、実用的な知見を得ることです。グラフをLLMが理解できるテキストに変換することは、非常に複雑な作業です。その難しさは、複数のノードと、それらを繋ぐ複雑なエッジの網からなるグラフ構造の本質的な複雑さに起因します。私たちの研究は、グラフを取得し、LLMが理解できる形式に変換する方法を調査します。また、<em><a href="https://github.com/google-research/google-research/tree/master/graphqa">GraphQA</a></em>というベンチマークを設計し、様々なグラフ推論問題における異なるアプローチを研究し、LLMがグラフ問題を解決できるようにグラフ関連の問題をどのように<em>表現するか</em>を示します。私たちは、グラフ推論タスクにおけるLLMの性能が、3つの基本的なレベルで変化することを示します：1) グラフ符号化方法、2) グラフタスク自体の性質、そして3) 興味深いことに、考慮されるグラフの構造そのものです。これらの発見は、LLMのためにグラフを最適に表現する方法についての手がかりを与えてくれます。適切な方法を選択することで、LLMのグラフタスクにおける性能を最大60%向上させることができるのです！
</p>
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto;"><tbody><tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjAnieWluvqGQtyh_L3a_Y7XfYUR2dBRGpQf58DpzJfIrkyM2JnwxiCOvTzDidvP-GtbtRe4NsJUEFlzpW8nQbf8WGQD6P_C2jjsRZeLiyDSO8QF8IiGCRYnSa4MxruywJt60gU8KrH6w87ZoBXsGbPmyWDx01j1nqSCaEtfFeNTmAWSLcVVcND8XuzoaHb/s1600/image7.gif" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="400" data-original-width="1600" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjAnieWluvqGQtyh_L3a_Y7XfYUR2dBRGpQf58DpzJfIrkyM2JnwxiCOvTzDidvP-GtbtRe4NsJUEFlzpW8nQbf8WGQD6P_C2jjsRZeLiyDSO8QF8IiGCRYnSa4MxruywJt60gU8KrH6w87ZoBXsGbPmyWDx01j1nqSCaEtfFeNTmAWSLcVVcND8XuzoaHb/s16000/image7.gif" /></a></td></tr><tr><td class="tr-caption" style="text-align: center;">図は、2つの異なるアプローチを用いてグラフをテキストとして符号化し、そのテキストとグラフに関する質問をLLMに与えるプロセスを示しています。</td></tr></tbody></table>
<div style="line-height: 40%;">
<br />
</div>
<h2>テキストとしてのグラフ</h2>
<p>
グラフをテキストに変換する最良の方法が何かを体系的に見つけ出すために、私たちはまず<em><a href="https://github.com/google-research/google-research/tree/master/graphqa">GraphQA</a></em>というベンチマークを設計しました。GraphQAは、強力なLLMをグラフ特有の問題で評価するために設計された試験だと考えてください。私たちは、LLMが様々な設定でグラフを含む問題をどの程度理解し解決できるかを知りたいのです。LLMのための包括的で現実的な試験を作成するために、私たちは単一のタイプのグラフを使用するのではなく、様々なグラフを混ぜて使用し、確実に
原文を表示
<span class="byline-author">Posted by Bahare Fatemi and Bryan Perozzi, Research Scientists, Google Research</span>
<img src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg8L7r_SCzFsKsWegtrn8_EOoO2imefs-V_GVHzbM0Xw7GmAxoXIIX0RtpJ2JvloeenxcKCNmhCH_VXRMpu8b5dJP39UkhMJS0wP86TUftZtUi-hfj6tZdVEn30MZAeQEx762q1vN-q4DWP2EdOBIHy_CgNFMcliaJYnzxZHjnuifbVWy52zlls20m4BkyJ/s1600/Screenshot%202024-03-12%20at%202.18.27%E2%80%AFPM.png" style="display: none;" />
<p>
Imagine all the things around you — your friends, tools in your kitchen, or even the parts of your bike. They are all connected in different ways. In computer science, the term <em><a href="https://en.wikipedia.org/wiki/Graph_(discrete_mathematics)">graph</a> </em>is used to describe connections between objects. Graphs consist of nodes (the objects themselves) and edges (connections between two nodes, indicating a relationship between them). Graphs are everywhere now. The internet itself is a giant graph of websites linked together. Even the knowledge search engines use is organized in a graph-like way.
</p><a name='more'></a>
<p>
Furthermore, consider the remarkable advancements in artificial intelligence — such as chatbots that can write stories in seconds, and even software that can interpret medical reports. This exciting progress is largely thanks to large language models (LLMs). New LLM technology is constantly being developed for different uses.
</p>
<p>
Since graphs are everywhere and LLM technology is on the rise, in “<a href="https://openreview.net/forum?id=IuXR1CCrSi">Talk like a Graph: Encoding Graphs for Large Language Models</a>”, presented at <a href="https://iclr.cc/">ICLR 2024</a>, we present a way to teach powerful LLMs how to better reason with graph information. Graphs are a useful way to organize information, but LLMs are mostly trained on regular text. The objective is to test different techniques to see what works best and gain practical insights. Translating graphs into text that LLMs can understand is a remarkably complex task. The difficulty stems from the inherent complexity of graph structures with multiple nodes and the intricate web of edges that connect them. Our work studies how to take a graph and translate it into a format that an LLM can understand. We also design a benchmark called <em><a href="https://github.com/google-research/google-research/tree/master/graphqa">GraphQA</a></em> to study different approaches on different graph reasoning problems and show how to <em>phrase</em> a graph-related problem in a way that enables the LLM to solve the graph problem. We show that LLM performance on graph reasoning tasks varies on three fundamental levels: 1) the graph encoding method, 2) the nature of the graph task itself, and 3) interestingly, the very structure of the graph considered. These findings give us clues on how to best represent graphs for LLMs. Picking the right method can make the LLM up to 60% better at graph tasks!
</p>
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto;"><tbody><tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjAnieWluvqGQtyh_L3a_Y7XfYUR2dBRGpQf58DpzJfIrkyM2JnwxiCOvTzDidvP-GtbtRe4NsJUEFlzpW8nQbf8WGQD6P_C2jjsRZeLiyDSO8QF8IiGCRYnSa4MxruywJt60gU8KrH6w87ZoBXsGbPmyWDx01j1nqSCaEtfFeNTmAWSLcVVcND8XuzoaHb/s1600/image7.gif" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="400" data-original-width="1600" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjAnieWluvqGQtyh_L3a_Y7XfYUR2dBRGpQf58DpzJfIrkyM2JnwxiCOvTzDidvP-GtbtRe4NsJUEFlzpW8nQbf8WGQD6P_C2jjsRZeLiyDSO8QF8IiGCRYnSa4MxruywJt60gU8KrH6w87ZoBXsGbPmyWDx01j1nqSCaEtfFeNTmAWSLcVVcND8XuzoaHb/s16000/image7.gif" /></a></td></tr><tr><td class="tr-caption" style="text-align: center;">Pictured, the process of encoding a graph as text using two different approaches and feeding the text and a question about the graph to the LLM.</td></tr></tbody></table>
<div style="line-height: 40%;">
<br />
</div>
<h2>Graphs as text</h2>
<p>
To be able to systematically find out what is the best way to translate a graph to text, we first design a benchmark called <em><a href="https://github.com/google-research/google-research/tree/master/graphqa">GraphQA</a></em>. Think of GraphQA as an exam designed to evaluate powerful LLMs on graph-specific problems. We want to see how well LLMs can understand and solve problems that involve graphs in different setups. To create a comprehensive and realistic exam for LLMs, we don’t just use one type of graph, we use a mix of graphs ensuring br
News to Guide
ニュースの次に確認する
発表内容を、現在の料金や仕様と照らし合わせられる関連ガイドです。
今日のまとめ
AIデイリーブリーフで今日の重要ニュースをまとめ読み