交通流円滑化のための強化学習の拡張：100台の自動運転車による高速道路展開

我々は、ラッシュアワーの高速道路交通に100台の強化学習（RL）制御車両を投入し、渋滞を緩和し、全ての車両の燃料消費を削減しました。我々の目標は、「ストップ・アンド・ゴー」波、つまり通常は明確な原因がないにもかかわらず発生し、渋滞と多大なエネルギー浪費を引き起こす、苛立たしい減速と加速の連鎖に取り組むことです。効率的な交通流円滑化制御器を訓練するため、RLエージェントが相互作用する高速なデータ駆動型シミュレーションを構築し、人間のドライバーの周囲で安全に運転しながらスループットを維持し、エネルギー効率を最大化することを学習させました。 全体として、適切に制御された自動運転車（AV）がわずかな割合存在するだけで、道路上の全てのドライバーの交通流と燃料効率を大幅に改善できることが分かりました。さらに、訓練された制御器は、分散型で動作し、標準的なレーダーセンサーに依存する、ほとんどの現代車両に導入可能なように設計されています。我々の最新の論文では、この100台実験において、シミュレーションから実環境へのRL制御器の大規模導入に伴う課題を探求しています。 ファントム渋滞の課題 ![](https://bair.berkeley.edu/static/blog/rl_av_smoothing/highway_wave.gif) 高速道路の車列を後方へと移動するストップ・アンド・ゴー波。 車を運転するなら、ストップ・アンド・ゴー波による苛立ちを経験したことがきっとあるでしょう。それは、どこからともなく現れ、突然解消する、一見説明のつかない交通の減速です。これらの波は、交通流の中で増幅される、我々の運転行動の小さな変動によって引き起こされることがよくあります。我々は自然に、前を走る車両に基づいて速度を調整します。車間距離が開けば、追いつくために加速します。前の車がブレーキを踏めば、我々も減速します。しかし、ゼロではない反応時間のため、我々は前の車よりもほんの少し強くブレーキを踏むかもしれません。その後ろのドライバーも同じことをし、これが増幅し続けます。時間が経つにつれて、取るに足らない減速として始まったものが、車列のさらに後方で完全な停止へと変わります。これらの波は交通流の中で後方へ移動し、頻繁な加速によるエネルギー効率の大幅な低下、それに伴うCO2排出量と事故リスクの増加を引き起こします。 そしてこれは孤立した現象ではありません！これらの波は、交通密度が臨界値を超えた場合、混雑した道路ではどこにでも存在します。では、この問題にどう対処すればよいのでしょうか？ランプメータリングや可変速度制限のような従来のアプローチは交通流を管理しようと試みますが、しばしば高価なインフラと集中型の調整を必要とします。より拡張性のあるアプローチは、運転行動をリアルタイムで動的に調整できるAVを利用することです。しかし、単に人間のドライバーの中にAVを挿入するだけでは不十分です。AVは、交通を誰にとってもより良くする、より賢い方法で運転しなければなりません。そこでRLの出番となります。 ![](https://bair.berkeley.edu/static/blog/rl_av_smoothing/fundamental_diagram.png) 交通流の基本図。道路上の車の数（密度）は、どれだけの交通が前方に移動しているか（流量）に影響します。密度が低い場合、より多くの車を追加すると、より多くの車両が通過できるため、流量は増加します。しかし、臨界値を超えると、車両は互いに邪魔し始め、渋滞を引き起こします。そこでは車を追加すると、実際には全体の動きが遅くなります。 波を平滑化するAVのための強化学習 RLは、エージェントが環境との相互作用を通じて報酬信号を最大化することを学習する強力な制御手法です。エージェントは試行錯誤を通じて経験を収集し、失敗から学び、時間とともに改善します。我々の場合、環境は混合自律交通シナリオであり、AVはストップ・アンド・ゴー波を減衰させ、自身と近くの人間が運転する車両の両方の燃料消費を削減する運転戦略を学習します。 これらのRLエージェントを訓練するには、高速道路のストップ・アンド・ゴー行動を再現できる、現実的な交通ダイナミクスを持つ高速なシミュレーションが必要です。これを実現するため、我々はテネシー州ナッシュビル近くの州間高速道路24号線（I-24）で収集した実験データを活用し、車両が高速道路の軌跡を再生し、その後方を走るAVが平滑化することを学習する不安定な交通を生み出すシミュレーションを構築しました。 いくつかのストップ・アンド・ゴー波を示す高速道路軌跡を再生するシミュレーション。 我々は導入を念頭に置いてAVを設計し、自身と前の車両に関する基本的なセンサー情報のみを使用して動作できることを確認しました。観測情報は、AVの速度、先行車両の速度、およびそれらの間の車間距離で構成されます。これらの入力が与えられると、RLエージェントはAVに対して瞬間的な加速度または目標速度を指示します。これらの局所的な測定値のみを使用する主な利点は、RL制御器が追加のインフラを必要とせず、分散型でほとんどの現代車両に導入できることです。 最も難しい部分は、最大化したときに、我々がAVに達成させたい異なる目的と一致する報酬関数を設計することです： 波の平滑化：ストップ・アンド・ゴーの振動を減らす。 エネルギー効率：AVだけでなく、全ての車両の燃料消費を下げる。 安全性：合理的な車間距離を確保し、急ブレーキを避ける。 乗り心地：攻撃的な加速と減速を避ける。 人間の運転規範への準拠：周囲のドライバーを不快にさせない「普通の」運転行動を確保する。 これらの目的を一緒にバランスさせることは困難です。なぜなら、各項に対する適切な係数を見つけなければならないからです。例えば、燃料消費の最小化が報酬を支配すると、RL制御のAVは、それがエネルギー最適であるために、高速道路の真ん中で停止することを学習します。これを防ぐため、燃料効率を最適化しながら安全で合理的な行動を確保するために、動的な最小および最大車間距離の閾値を導入しました。また、AVの後方を走る人間が運転する車両の燃料消費に対してペナルティを課し、周囲の交通を犠牲にしてAV自身のエネルギー節約を最適化するような利己的な行動を学習することを抑制しました。全体として、我々はエネルギー節約と、合理的で安全な運転行動とのバランスを取ることを目指しています。 シミュレーション結果 ![](https://bair.berkeley.edu/static/blog/rl_av_smoothing/gap_thresholds.png) 動的な最小および最大車間距離閾値の説明。AVはこの範囲内で自由に動作し、可能な限り効率的に交通を平滑化できます。 AVが学習する典型的な行動は、人間のドライバーよりもわずかに大きな車間距離を維持することです。これにより、起こりうる急激な交通の減速をより効果的に吸収できます。シミュレーションでは、このアプローチにより、最も混雑したシナリオにおいて、道路上のAVが5%未満であっても、全ての道路利用者の燃料消費が最大20%削減されました。そしてこれらのAVは特別な車両である必要はありません！それらは、我々が大規模にテストした、スマートなアダプティブ・クルーズ・コントロール（ACC）を搭載した標準的な市販車でよいのです。 ![](https://bair.berkeley.edu/static/blog/rl_av_smoothing/wave_smoothing.png) RL制御AVの平滑化行動。赤：データセットからの人間の軌跡。青：隊列をなす連続したAV。AV 1は人間の軌跡の直後を走ります。AVの間には通常20〜25台の人間が運転する車両がいます。各AVは、先行車両ほどには減速せず、また加速もしません。これにより、時間とともに波の振幅が減少し、エネルギー節約につながります。 100台AV実地試験：RLの大規模導入 実験週間に運用センターに駐車された我々の100台の車両。 有望なシミュレーション結果を受けて、当然の次のステップは、シミュレーションから高速道路へのギャップを埋めることでした。我々は訓練済みのRL制御器を取得し、数日間にわたるピーク交通時間帯にI-24で100台の車両に導入しました。MegaVanderTestと呼んだこの大規模実験は、これまでで最大の混合自律交通平滑化実験です。 実環境でRL制御器を導入する前に、我々はシミュレーションで広範囲に訓練と評価を行い、ハードウェア上で検証しました。全体として、導入に向けたステップは以下を含みました： データ駆動型シミュレーションでの訓練：我々は、高速道路交通データを

交通流円滑化のための強化学習の拡張：100台の自動運転車による高速道路展開

背景や根拠まで確認しますか？

調べる

選ぶ

サイト