「TD学習を用いない強化学習」

この記事では、「分割統治」という「代替的」なパラダイムに基づく強化学習（RL）アルゴリズムを紹介します。従来の手法とは異なり、このアルゴリズムは時間差分（TD）学習（スケーラビリティに課題がある）に基づいておらず、長期的なタスクにもうまくスケールします。 ![](https://bair.berkeley.edu/static/blog/rl-without-td-learning/teaser_short.png) 時間差分（TD）学習の代わりに、分割統治に基づいて強化学習（RL）を行うことができます。 問題設定: オフポリシー強化学習 我々の問題設定はオフポリシー強化学習です。これが何を意味するか、簡単に復習しましょう。 強化学習には、オン・ポリシーRLとオフ・ポリシーRLという2つのクラスのアルゴリズムがあります。オン・ポリシーRLとは、現在の方策によって収集された新しいデータのみを使用できることを意味します。言い換えれば、方策を更新するたびに古いデータを捨てなければなりません。PPOやGRPO（および一般的な方策勾配法）などのアルゴリズムがこのカテゴリーに属します。 オフ・ポリシーRLとは、この制限がないことを意味します：古い経験、人間のデモンストレーション、インターネットデータなど、あらゆる種類のデータを使用できます。したがって、オフ・ポリシーRLはオン・ポリシーRLよりも一般的で柔軟です（そしてもちろん、より難しいです！）。Q学習は最もよく知られたオフ・ポリシーRLアルゴリズムです。データ収集が高価な領域（ロボティクス、対話システム、医療など）では、オフ・ポリシーRLを使用せざるを得ないことが多いです。それが、これが非常に重要な問題である理由です。 2025年現在、オン・ポリシーRL（PPO、GRPOおよびその変種など）をスケールアップするためのレシピは、かなり良いものが得られていると思います。しかし、複雑で長期的なタスクにうまくスケールする「スケーラブルな」オフ・ポリシーRLアルゴリズムは、まだ見つかっていません。その理由を簡単に説明させてください。 価値学習における二つのパラダイム: 時間差分（TD）とモンテカルロ（MC） オフ・ポリシーRLでは、通常、以下のベルマン更新則を用いた時間差分（TD）学習（すなわちQ学習）によって価値関数を訓練します： 問題はこれです：次の価値 $Q(s', a')$ の誤差はブートストラップを通じて現在の価値 $Q(s, a)$ に伝播し、これらの誤差は時間軸全体にわたって蓄積します。これが基本的に、TD学習が長期的なタスクへのスケーリングに苦労する原因です（詳細に興味があれば、この記事を参照してください）。 この問題を緩和するために、人々はTD学習とモンテカルロ（MC）リターンを混合してきました。例えば、$n$ステップTD学習（TD-$n$）を行うことができます： ここでは、最初の$n$ステップについては（データセットからの）実際のモンテカルロ・リターンを使用し、残りの時間軸についてはブートストラップされた価値を使用します。この方法で、ベルマン再帰の回数を$n$分の1に減らすことができるので、誤差の蓄積が少なくなります。$n = \infty$という極端な場合には、純粋なモンテカルロ価値学習に戻ります。 これは合理的な解決策であり（そしてしばしばうまく機能しますが）、非常に不満足なものです。第一に、誤差蓄積問題を根本的に解決するものではなく、ベルマン再帰の回数を定数倍（$n$）で減らすだけです。第二に、$n$が大きくなるにつれて、高い分散と次善性に悩まされます。したがって、$n$を単純に大きな値に設定することはできず、各タスクごとに慎重に調整する必要があります。 この問題を解決する根本的に異なる方法はあるのでしょうか？ 「第三の」パラダイム: 分割統治 私の主張は、価値学習における第三のパラダイムである分割統治が、任意に長期的なタスクにスケールするオフ・ポリシーRLの理想的な解決策を提供するかもしれない、ということです。 ![](https://bair.berkeley.edu/static/blog/rl-without-td-learning/teaser.png) 分割統治は、ベルマン再帰の回数を対数的に減らします。 分割統治の重要なアイデアは、軌跡を二つの等しい長さのセグメントに分割し、それらの価値を組み合わせて完全な軌跡の価値を更新するというものです。この方法により、（理論的には）ベルマン再帰の回数を線形的ではなく対数的に減らすことができます。さらに、$n$ステップTD学習とは異なり、$n$のようなハイパーパラメータを選択する必要がなく、必ずしも高い分散や次善性に悩まされるわけではありません。 概念的には、分割統治は価値学習において我々が望むすべての良い特性を本当に備えています。そのため、私はこの高レベルのアイデアに長い間興奮してきました。問題は、実際にこれをどのように実践するかが明確ではなかったことです…最近まで。 実用的なアルゴリズム Adityaと共同で主導した最近の研究で、我々はこのアイデアを実現しスケールアップする方向で意味のある進歩を遂げました。具体的には、少なくとも強化学習問題の重要な一クラスである、ゴール条件付き強化学習において、分割統治価値学習を非常に複雑なタスクにまでスケールアップすることができました（私の知る限り、これは最初のそのような研究です！）。ゴール条件付き強化学習は、任意の状態から任意の状態に到達できる方策を学習することを目的としています。これは自然な分割統治構造を提供します。これを説明しましょう。 構造は以下の通りです。まず、ダイナミクスが決定的であると仮定し、二つの状態$s$と$g$の間の最短経路距離（「時間的距離」）を$d^*(s, g)$と表記します。すると、これは三角不等式を満たします： すべての $s, g, w \in \mathcal{S}$ に対して。 価値の観点では、この三角不等式を以下の「推移的」ベルマン更新則と等価に変換できます： ここで、$\mathcal{E}$ は環境の遷移グラフにおける辺の集合、$V$ はスパース報酬 $r(s, g) = 1(s = g)$ に関連付けられた価値関数です。直感的には、これは、$w$ が最短経路上の最適な「中点」（サブゴール）である場合、二つの「より小さな」価値 $V(s, w)$ と $V(w, g)$ を使用して $V(s, g)$ の価値を更新できることを意味します。これはまさに我々が探していた分割統治価値更新則です！ しかし、ここに一つの問題があります。問題は、実際に最適なサブゴール $w$ をどのように選択するかが不明確だということです。表形式の設定では、単純にすべての状態を列挙して最適な $w$ を見つけることができます（これは本質的にFloyd-Warshall最短経路アルゴリズムです）。しかし、大きな状態空間を持つ連続環境では、これはできません。基本的に、このアイデアが数十年間存在していたにもかかわらず（実際、Kaelbling (1993) によるゴール条件付き強化学習の最初の研究にまで遡ります – 関連研究のさらなる議論については我々の論文を参照）、これが以前の研究が分割統治価値学習をスケールアップすることに苦労してきた理由です。我々の研究の主な貢献は、この問題に対する実用的な解決策です。 我々の重要なアイデアはこれです：$w$ の探索空間を、データセット内に出現する状態、具体的にはデータセットの軌跡において $s$ と $g$ の間にある状態に制限します。また、最適な $\text{argmax}_w$ を探索する代わりに、期待値回帰を使用して「ソフトな」$\text{argmax}$ を計算します。すなわち、以下の損失を最小化します： ここで、$\bar{V}$ はターゲット価値ネットワーク、$\ell^2_\kappa$ は期待値 $\kappa$ を持つ期待値損失、そして期待値は、ランダムにサンプリングされたデータセット軌跡内のすべての $i \leq k \leq j$ となるタプル $(s_i, s_k, s_j)$ に対して取られます。 これには二つの利点があります。第一に、状態空間全体を探索する必要がありません。第二に、$\max$ 演算子による価値の過大評価を防ぐために、代わりに「よりソフトな」期待値回帰を使用します。我々はこのアルゴリズムを推移的強化学習（TRL）と呼びます。詳細とさらなる議論については、我々の論文をチェックしてください！ うまく機能するのか？ 我々の手法が複雑なタスクにうまくスケールするかどうかを確認するために、オフラインゴール条件付き強化学習のベンチマークであるOGBenchの最も挑戦的なタスクのいくつかで、TRLを直接評価しました。主に、大規模な10億規模のデータセットを持つ、humanoidmazeとpuzzleタスクの最も難しいバージョンを使用しました。これらのタスクは非常に困難です：最大3,000環境ステップにわたって組み合わせ的に複雑なスキルを実行する必要があります。 ![](https://bair.berkeley.edu/static/blog/rl-without-td-learning/table.png) TRLは、非常に困難で長期的なタスクにおいて最高の性能を達成します。 結果は非常に刺激的です！異なるカテゴリー（TD、MC、準距離学習など）の多くの強力なベースラインと比較して、TRLはほとんどのタスクで最高の性能を達成します。

「TD学習を用いない強化学習」

背景や根拠まで確認しますか？

関連記事

調べる

選ぶ

サイト