グーグル研究者、大規模言語モデル向けベイズ的教授法を提案

Google の研究者たちは、最適なベイズ推論システムからの予測を学習することで、大規模言語モデルにベイズ推論の近似を教えるトレーニング手法を提案しました。このアプローチは、多段階の相互作用の中で新しい情報を取得する際に、モデルがどのように信念を更新するかを改善することに焦点を当てています。 本研究は、言語モデルが時間とともにユーザーと対話する際に信念をどのように更新するかを検討しています。レコメンデーションシステムなどの多くの実世界アプリケーションでは、モデルは新しい情報に基づいてユーザーの嗜好を徐々に推測する必要があります。ベイズ推論は、新たな証拠が利用可能になったときに確率を更新するための数学的枠組みを提供します。研究者たちは、言語モデルがベイズ信念更新と整合した方法で振る舞うかどうかを検証し、その行動を改善するトレーニング方法を探索しました。 これを評価するために、チームはシミュレーションされたフライト推薦タスクを作成しました。実験では、モデルがシミュレーションされたユーザーと5 ラウンドにわたって対話します。各ラウンドでは、アシスタントとユーザーには、出発時刻、所要時間、乗り換え回数、価格によって定義された 3 つのフライトオプションが表示されます。各シミュレーションされたユーザーは、これらの属性に対して隠れた嗜好を持っています。各推薦の後、ユーザーはアシスタントが正しいオプションを選択したかどうかを示し、好まれるフライトを明らかにします。アシスタントはこのフィードバックを使用して、将来の推薦を改善することが期待されています。 研究者たちは、ユーザーの好意に関する確率分布を維持し、各インタラクション後にベイズの法則を用いてそれを更新するベイズ型アシスタントと、いくつかの言語モデルを比較しました。実験において、ベイズ型アシスタントは正しい選択肢を選択する際に約 81% の精度を達成しました。一方、言語モデルはそれよりも劣り、最初のインタラクション後に限定的な改善しか示さず、ユーザーの好意に関する内部推定値を効果的に更新できていないことが示唆されました。 次に本研究では、ベイズ型ティーチングと呼ばれるトレーニング手法がテストされました。これは正解のみから学習するのではなく、モデルがシミュレーションされたインタラクション中にベイズ型アシスタントの予測を模倣するように訓練されるアプローチです。初期のラウンドでは、ユーザーの好意に関する不確実性のためベイズ型アシスタントは誤った推奨を行うこともありましたが、その意思決定は利用可能な証拠に基づく確率的推論を反映したものでした。 以下の画像は、ベイズ型アシスタントまたはオラクルとのユーザーインタラクションに対してファインチューニングを行った後の Gemma および Qwen の推薦精度を示しています。 教師ありファインチューニングのためのトレーニングデータは、ユーザーとベイズ型アシスタントの間でシミュレーションされた会話から構成されていました。比較のため、研究者らは、ユーザーの好意に関する完全な知識を有しているため常に正しい選択肢を選択するアシスタントから学習させる手法もテストしました。 両方のファインチューニング手法はモデルのパフォーマンスを向上させましたが、ベイズティーチングの方がより良い結果を生み出しました。この手法で訓練されたモデルは、ベイズアシスタントの予測とより一致する予測を行い、複数の対話ラウンドにわたってより顕著な改善を示しました。また、ユーザーの選択を評価する際にも、ベイズシステムとの合意度が高かったことが示されました。 Google Research の投稿に対するコミュニティの反応は概ね好意的で、コメントでは LLM における確率的推論の向上や多ターン適応が強調されました。 ソフトウェア開発者の Yann Kronberg は次のようにコメントしました: 「人々は推論ベンチマークについて話しますが、これは本質的に信念更新に関するものです。新しい情報が到着した後にほとんどの LLM が内部仮定をうまく修正できないことは知られており、@GoogleResearch がベイズ推論の近似方法を教えることは、長期稼働するエージェントにとって非常に重要になる可能性があります。」 また、ベイズ推論の近似に強化学習（Reinforcement Learning）ではなく教師ありファインチューニング（Supervised Fine-Tuning: SFT）を使用することについて疑問を呈する声もありました。 研究者 Aidan Li は次のように引用しました: 「なぜ著者は確率的推論の近似のためにモデルを訓練する際に強化学習（RL）ではなく SFT を使用したのでしょうか？LLM においても、RL と確率的推論に関連する膨大な研究が存在します。何か見落としているかもしれませんが、RL が明白な選択肢のように思えます。」 研究者たちは、この手法をベイズ推論を実装する記号システムの振る舞いを近似するようにニューラルネットワークが学習するモデル蒸留の一種として説明しています。その結果、言語モデルは逐次相互作用において最適な意思決定戦略を示す事後トレーニングを通じて、確率的推論スキルを獲得できることが示唆されています。 著者について Daniel Dominguez Daniel は SamXLabs のマネージングパートナーです。SamXLabs は AWS パートナーネットワークに所属する企業です。彼はスタートアップおよびフォーチュン 500 企業のソフトウェア製品開発において、13 年以上の経験を持っています。Daniel はワシントン大学で工学の学位を取得し、機械学習を専門としています。AI とクラウドコンピューティングを活用して革新的なソリューションを生み出すことに情熱を注いでいます。機械学習ティアの AWS コミュニティビルダーとして、Daniel は知識の共有とソフトウェア製品におけるイノベーションの推進に尽力しています。 Show moreShow less

グーグル研究者、大規模言語モデル向けベイズ的教授法を提案

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト

背景や根拠まで確認しますか？

関連記事

ニュースの次に確認する

調べる

選ぶ

サイト