チェーン・オブ・テーブル：表理解のための推論チェーンにおける表の進化

Cloud AI チームの学生研究員である Zilong Wang と、研究科学者の Chen-Yu Lee によって投稿されました ![image](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg1smBN07qkS32Aop4if0AeINQQea0Grv8dw7GiRFBNoHBlgkkftynVBNjO6BckpF4vq8d0VqC1v0LoeFAVFqOLrBGlqvMNiCMUtIhHxVvsBjbPxvZLcNcD_Sa1sI_bDlqDLWn_C39MbPNm8VUjr2vhTBuaL4qCc1LUB1VH5iM0UVsswIWWq_uQg88YRWmb/s832/Chain-of-Table.png) 人々は、複雑な情報を構造化され、容易にアクセス可能な形式で整理・解釈するために、毎日表を利用しています。このような表の普及により、表データに対する推論は長年 [自然言語処理](https://en.wikipedia.org/wiki/Natural_language_processing) (NLP) の中心的なトピックとなってきました。この分野の研究員たちは、言語モデルを活用して、ユーザーが表に基づいて質問に答えたり、記述を検証したり、データを分析したりするのを支援することを目指しています。しかし、言語モデルは大量のプレーンテキストで訓練されているため、表データの本質的な構造化された性質を、言語モデルが完全に理解し活用することは困難です。 最近、大規模言語モデル（LLM）は、Chain-of-Thought や Least-to-Most などの研究に示されるように、信頼性の高い推論連鎖を生成することで、多様な自然言語理解タスクにおいて優れたパフォーマンスを達成しています。しかし、LLM が表データに対して推論を行う最も適切な方法は、依然として未解決の課題です。 「Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding」という論文では、表理解タスクに対処するためのフレームワークを提案します。このフレームワークでは、LLM に思考プロセスの一部を反映させるために与えられた表を反復的に更新し、段階的に推論の概要を描くように訓練します。これは、人々が表ベースの問題を解決する際の手法に似ています。これにより、LLM は表をより単純で管理しやすいセグメントに変換でき、表の各部分を深く理解・分析することが可能になります。このアプローチは、WikiTQ、TabFact、FeTaQA の各ベンチマークにおいて顕著な改善をもたらし、新たな最高性能（state-of-the-art）の結果を達成しました。以下の図は、提案された Chain-of-Table と他の手法のハイレベルな概要を示しています。 複雑な表において、サイクリストの国籍と名前が同じセルに含まれている場合、(a) 汎用的な多段階推論では正解を提供できず、(b) プログラム支援型推論は回答を導き出すためにプログラム（例：SQL クエリ）を生成・実行するものの、質問に正確に対応するには至らず、(c) Chain-of-Table は、複雑な表を質問に特化したバージョンへと効果的に変換する一連の操作を反復サンプリングすることで対応します。 Chain-of-Table では、[in-context learning](https://arxiv.org/abs/2005.14165)（文脈内学習）を用いて大規模言語モデル（LLM）を誘導し、表の推論連鎖を表すために操作を反復生成して表を更新します。これにより、LLM は過去の結果に基づいて次の操作を動的に計画できるようになります。このように表が連続的に進化していく過程が連鎖を形成し、与えられた問題に対する推論プロセスをより構造化され明確な形で表現するとともに、LLM からのより正確で信頼性の高い予測を可能にします。 例えば、「NAACP イメージ賞を最も多く受賞している俳優は誰か？」という質問に対して、Chain-of-Table フレームワークは LLM に表の推論プロセスを模倣した表操作を生成させるよう促します。まず関連する列を特定し、次に共通の内容に基づいて行を集約します。最後に集約された結果を並べ替えて、提示された質問に明確に答える最終的な表を導き出します。 これらの操作は、提示された質問に合わせてテーブルを調整するために用いられます。大規模なテーブルにおける計算コストとパフォーマンスのバランスを取るために、テーブル行の一部に基づいて操作チェーンを構築します。同時に、段階的な操作を通じてテーブル操作からの中間結果が表示されることで、背後にある推論プロセスが明らかになり、解釈可能性と理解が向上します。 Chain-of-Table におけるテーブル推論プロセスの概要。この反復プロセスでは、動的に操作チェーンを計画し、変換されたテーブルに中間結果を正確に保存します。これらの中間テーブルは、LLM がより確実に正解に至るよう導くための「テーブル思考プロセス」として機能します。 Chain-of-Table は3 つの主要な段階から構成されています。最初の段階では、コンテキスト内学習（in-context learning）によって LLM に次の操作を動的に計画させる指示を出します。具体的には、以下の図に示すようにプロンプトは 3 つの要素で構成されます： - 質問 Q:「上位 3 位以内に入国したサイクリストが最も多い国はどこか？」 - 操作履歴チェーン：f_add_col(Country) および f_select_row(1, 2, 3) - 最新の中間テーブル T：変換された中間テーブル プロンプトに (T, Q, chain) のトリプレットを提供することで、LLM は過去のテーブル推論プロセスを観察し、操作プールから次の操作を選択して、段階的に推論チェーンを完成させることができます。 Chain-of-Table が操作プールから次の操作を選択し、その引数を生成する様子を示した図。(a) Chain-of-Table は操作プールから次の操作をサンプリングします。(b) 選択された操作を入力として受け取り、その引数を生成します。 次の操作 *f* が決定されると、第 2 段階では引数の生成が必要です。前述の通り、Chain-of-Table は図に示すようにプロンプト内の 3 つのコンポーネントを考慮します：(1) 質問、(2) 選択された操作とその必要な引数、(3) 最新の中間テーブル。 例えば、操作 f_group_by が選択された場合、その引数としてヘッダー名が必要です。 LLM はテーブル内から適切なヘッダーを選択します。選択された操作と生成された引数を備え、Chain-of-Table はその操作を実行し、次の推論のための新しい中間テーブルを構築します。 Chain-of-Table は前述の 2 つの段階を反復して次の操作を計画し、必要な引数を生成します。この過程で、表形式推論ステップのプロキシとして機能する操作チェーンを作成します。これらの操作は、各ステップの結果を示す中間テーブルを生成し、LLM に提示します。その結果、出力テーブルには表形式推論の中間段階に関する包括的な情報が含まれます。最終段階では、この出力テーブルを用いて最終クエリを策定し、質問とともに LLM をプロンプトして最終回答を得ます。 ## Experimental setup バックボーン LLM には [PaLM 2-S](https://ai.google/discover/palm2/) と [GPT 3.5](https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates) を使用し、3 つの公開された表理解ベンチマークである [WikiTQ](https://arxiv.org/abs/1508.00305)、[TabFact](https://arxiv.org/abs/1909.02164)、および [FeTaQA](https://arxiv.org/abs/2104.00369) 上で実験を行いました。WikiTQ と FeTaQA は表ベースの質問応答用のデータセットです。TabFact は表ベースの事実検証ベンチマークです。本ブログ記事では、WikiTQ と TabFact における結果に焦点を当てます。Chain-of-Table を、汎用的な推論手法（例：エンドツーエンド QA、Few-Shot QA、および [Chain-of-Thought](https://arxiv.org/abs/2201.11903)）やプログラム支援型手法（例：[Text-to-SQL](https://arxiv.org/abs/2204.00498)、[Binder](https://arxiv.org/abs/2210.02875)、および [Dater](https://arxiv.org/abs/2301.13808)）と比較します。 ## More accurate answers 汎用的な推論手法やプログラム支援型推論手法と比較して、Chain-of-Table は [PaLM 2](https://ai.google/discover/palm2/) および [GPT 3.5](https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates) の両方でより優れたパフォーマンスを達成します。これは、動的にサンプリングされた操作と情報豊富な中間テーブルによるものです。 PaLM 2 と GPT 3.5 を用いた WikiTQ および TabFact における理解結果は、各種モデルと比較されています。 ## Better robustness on harder questions Chain-of-Table において、より長い操作チェーンは、質問および対応するテーブルの難易度と複雑さが高いことを示します。私たちは、Chain-of-Table におけるテストサンプルを、その操作長に基づいて分類しました。また、代表的な汎用推論手法である Chain-of-Thought と、プログラム支援型推論手法である Dater と比較を行いました。この比較は、[PaLM 2](https://ai.google/discover/palm2/) の [WikiTQ](https://arxiv.org/abs/1508.00305) における結果を用いて示しています。 操作チェーンの長さが異なる質問に対する WikiTQ 上での、Chain-of-Thought、Dater、および提案された Chain-of-Table の性能。私たちが提案する原子操作（atomic operations）は、汎用手法やプログラム支援型推論手法と比較して、性能を大幅に向上させます。 特筆すべきは、Chain-of-Table がすべての操作チェーン長において両方のベースライン手法を一貫して上回っており、[Chain-of-Thought](https://arxiv.org/abs/2201.11903) と比較して最大 11.6%、[Dater](https://arxiv.org/abs/2301.13808) と比較して最大 7.9% の大きな差を示している点です。さらに、Chain-of-Table の性能は、他のベースライン手法と比較して操作数が増加しても緩やかに低下し、操作数が 4 から 5 に増加した場合でも最小限の減少しか示しません。 ## より大きなテーブルにおける優れた頑健性 私たちは、[WikiTQ](https://arxiv.org/abs/1508.00305) のテーブルをトークン数に基づいて 3 つのグループに分類しました：小規模（4000 トークン未満）、中規模（4000〜20,000 トークン）、大規模（20,000 トークン以上）。その後、Chain-of-Table を、最新の 2 つかつ最も強力なベースラインである [Dater](https://arxiv.org/abs/2301.13808) と [Binder](https://arxiv.org/abs/2210.02875) と比較しました。 WikiTQ の小規模（4000 トークン）テーブルに対する Binder、Dater、および提案された Chain-of-Table の性能。入力テーブルが大きくなるにつれて性能が低下する一方で、Chain-of-Table は緩やかに低下し、競合手法に対して顕著な改善を達成することが観察されました。（前述の通り、下線付きテキストは 2 番目に良いパフォーマンスを示し、太字は最良のパフォーマンスを示します。） WikiTQ の小規模（4000 トークン）テーブルに対する Binder、Dater、および提案された Chain-of-Table の性能。入力テーブルが大きくなるにつれて性能が低下する一方で、Chain-of-Table は緩やかに低下し、競合手法に対して顕著な改善を達成することが観察されました。（前述の通り、下線付きテキストは 2 番目に良いパフォーマンスを示し、太字は最良のパフォーマンスを示します。） 予想通り、モデルがより長いコンテキストを通じて推論を行う必要があるため、入力テーブルが大きくなるにつれて性能は低下しました。しかしながら、提案された Chain-of-Table の性能は緩やかに低下し、大規模なテーブルを扱う際にも 2 番目に良い競合手法に対して顕著に 10% 以上の改善を達成しました。これは、推論チェーンが長い表形式の入力を処理する上で有効であることを示しています。 ## 結論 提案された Chain-of-Table 手法は、表構造を活用して中間ステップを表現することで、LLM の推論能力を向上させます。これは、入力される表とその関連する質問に応じて LLM が動的に操作チェーンを計画することを指示するものです。この進化型表の設計は、表理解のためのプロンプト設計に対する新たな洞察をもたらします。 ## 謝辞 *本研究は、Zilong Wang, Hao Zhang, Chun-Liang Li, Julian Martin Eisenschlos, Vincent Perot, Zifeng Wang, Lesly Miculicich, Yasuhisa Fujii, Jingbo Shang, Chen-Yu Lee, Tomas Pfister によって実施されました。貴重なフィードバックを提供いただいた Chih-Kuan Yeh 氏および Sergey Ioffe 氏に感謝いたします。

チェーン・オブ・テーブル：表理解のための推論チェーンにおける表の進化

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト