LLMチャットボットに欠けているもの：目的意識

**タイトル: LLMチャットボットに欠けているもの: 目的意識** LLMベースのチャットボットの能力は毎月進歩している。これらの改善は、主にMMLU、HumanEval、MATHなどのベンチマーク（例：sonnet 3.5、gpt-4o）によって測定される。しかし、これらの指標がますます飽和していくにつれて、ユーザー体験はこれらのスコアに比例して向上しているだろうか？AIが人間に取って代わるのではなく、人間とAIの協働の未来を思い描くならば、現在の対話システムの測定方法は、非対話的な方法で測定するため、不十分かもしれない。 **なぜ目的志向の対話が重要なのか？** 目的志向の対話とは、目標や意図を中心とした、複数ラウンドにわたるユーザーとチャットボットの会話を指す。その目標は、「無害で役立つ」といった一般的なものから、「旅行計画エージェント」、「心理セラピスト」、「カスタマーサービスボット」といったより具体的な役割まで多岐にわたる。 旅行計画は、単純でわかりやすい例だ。私たちの好み、同行者の好み、そして現実世界の状況の複雑さのすべてを考えると、すべての情報を一発で伝えるのはコストが高すぎる。しかし、情報のやり取りを複数回行うことが許されれば、重要な情報だけが選択的に交換される。交渉理論はこのことの類推を提供している——一か八かの提案よりも、反復的な交渉の方がより良い結果をもたらす。 実際、情報の共有は対話の一側面に過ぎない。テリー・ウィノグラードの言葉を借りれば：「言語使用はすべて、聞き手の内部で手続きを活性化する方法と考えることができる」。私たちはそれぞれの発話を、一方の当事者が他方の世界モデルを変えるために行う意図的な行動と考えることができる。もし両当事者がより複雑な、あるいは隠された目標を持っていたらどうだろう？このように、目的志向の対話は、人間とAIの相互作用を協調ゲームとして定式化する方法を提供してくれる。ここでのチャットボットの目標は、人間が特定の目標を達成するのを助けることだ。 これは、学者だけが関心を持つ不必要な複雑さのように思えるかもしれない。しかし、目的志向の対話は、コード生成のような最も現実的で製品志向の研究分野にとっても有益でありうる。既存のコーディングベンチマークは、ほとんどがワンパス生成設定での性能を測定している。しかし、AIが普通のGithubイシュー（SWE-benchのような）を自動的に解決するためには、単一のアクションでは達成されない可能性が高い——AIは、正しい要件を理解しているか確認し、不足しているドキュメントやデータを要求し、必要なら人間に手を貸すよう依頼するために、人間のソフトウェアエンジニアと双方向にコミュニケーションを取る必要がある。ペアプログラミングと同様に、これはコードの欠陥を減らすことができるが、工数を増やす負担はない。 さらに、ターン制（話者交替）の導入により、多くの新しい可能性が解き放たれる。相互作用が長期的になり、記憶が構築されるにつれて、チャットボットはユーザープロファイルを徐々に更新できる。また、ユーザーの好みに適応することもできる。日常の対話を通じて、あなたの好みや意図を学習する個人アシスタント（例：IVA、Siri）を想像してみてほしい。それは新しい情報源（例：Twitter、arXiv、Slack、NYT）を自動的に読み取り、あなたの好みに合わせて朝のニュース要約を提供できる。あなたのためにメールを下書きし、あなたの編集から学び続けて改善していくことができる。 要するに、人々の間の意味のある相互作用は、完全な見知らぬ人から始まり、たった一度のやり取りで終わることはほとんどない。人間は自然に、複数ラウンドの対話を通じて互いに交流し、会話全体を通じてそれに応じて適応する。しかし、それは現代のLLMの基礎である「次のトークンを予測する」ことの正反対ではないだろうか？以下で、対話システムの構成要素を見てみよう。 **対話システムはどのように作られてきたか／作られているか？** 1970年代に戻ってみよう。ロジャー・シャンクが「レストラン・スクリプト」を一種の対話システムとして導入した頃だ[1]。このスクリプトは、典型的なレストラン体験を、入店、注文、食事、支払いといったステップに分解し、それぞれに特定の台本化された発話を割り当てる。当時、これらのシナリオにおける対話のすべての部分は注意深く計画されており、AIシステムが現実的な会話を模倣することを可能にした。ELIZA（ロジャース派心理療法士シミュレーター）やPARRY（偏執病患者を模倣するシステム）は、機械学習の夜明け前までの、他の2つの初期の対話システムだった。 このアプローチを今日のLLMベースの対話システムと比較すると、次のトークンを予測するように訓練されたモデルが、どうして対話に従事できるのか不思議に思える。したがって、対話システムがどのように作られるか、特に対話フォーマットがどのように機能するかに重点を置いて、詳しく検討してみよう： (1) **事前学習**: シーケンスモデルが、インターネットの混合テキストの巨大なコーパスで次のトークンを予測するように訓練される。構成は様々だが、主にニュース、書籍、Githubのコードが占め、RedditやStack Exchangeなどからクロールされたフォーラムデータ（対話のようなデータを含む可能性がある）が少量混ざっている。 (2) **対話フォーマットの導入**: シーケンスモデルは文字列のみを処理するが、対話履歴の最も自然な表現は、システムプロンプトと過去のやり取りの構造化されたインデックスであるため、変換のためにある種のフォーマットを導入しなければならない。Huggingfaceのトークナイザーの中には、ユーザーの利便性のために `tokenizer.apply_chat_template` と呼ばれるこの方法を提供するものがある。正確なフォーマットはモデルによって異なるが、通常、システムプロンプトを ` ` や ` ` で囲み、事前学習済みモデルがそれらにより多くの注意の重みを割り当てることを期待する。システムプロンプトは、言語モデルを下流アプリケーションに適応させ、その安全な動作を確保する上で重要な役割を果たす（次のセクションで詳しく説明する）。特に、このステップでのフォーマットの選択は任意である——事前学習コーパスはこのフォーマットに従っていない。 (3) **RLHF**: このステップでは、チャットボットは、望ましい答えを生成した場合に直接報酬を受け、望ましくない答えを生成した場合に罰せられる。導入された対話フォーマットがトレーニングデータに初めて現れるのはこの時であることに注意する価値がある。RLHFはファインチューニングのステップである。それは、データサイズが事前学習コーパスと比べて非常に小さいからだけでなく、KLペナルティやターゲットを絞った重み調整（例：Lora）が行われるからでもある。ルカンのケーキ焼きの比喩を使えば、RLHFはほんの小さな上のチェリーに過ぎない。 **既存の対話システムはどの程度一貫しているか（2024年現在）？** 私たちが対話システムに対して持つことができる最低限の要件は、与えたタスクに留まることができることだ。実際、私たち人間はしばしば話題から話題へと移り変わる。現在のシステムはどの程度うまく機能しているだろうか？ 現在、「システムプロンプト」はユーザーがLMの動作を制御するための主要な方法である。しかし、研究者は、LLMが敵対的条件下ではこれらの指示に従うことが脆いという証拠を発見している[12,13]。読者も、ChatGPTやClaudeとの日常的なやり取りを通じてこれを経験したことがあるかもしれない——新しいチャットウィンドウを開いたばかりの時は、モデルはあなたの指示をかなりよく従うが[2]、数ラウンドの対話の後、それはもはや新鮮ではなくなり、役割に従うことさえ完全に止めてしまう。 この経験談を定量的に捉えるにはどうすればよいか？ワンラウンドの指示追従については、MT-BenchやAlpaca-Evalなどの多くのベンチマークをすでに享受している。しかし、対話形式でモデルをテストする場合、モデルが何を生成するかを予測し、事前に返答を準備するのは難しい。私の共同研究者と私のプロジェクト[3]では、LLMチャットボットの指示追従能力をストレステストするために、無制限の長さの対話を合成する環境を構築した。 時間スケールで制約なくスケールさせるために、システムプロンプトを与えられた2つのLMエージェントに、長いラウンド数で互いに会話させた。これが対話の主要な幹を形成する[a1, b1, a2, b2, …, a8, b8]（対話が8ラウンドだとしよう）。この時点で、おそらくこの対話を調べるだけで、LLMがどのようにシステムプロンプトに固執するかを理解できるかもしれない。しかし、会話の流れによっては、多くの発話が指示と無関係である可能性がある。したがって、私たちは仮説的に

LLMチャットボットに欠けているもの：目的意識

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト