百辆自动驾驶汽车强化学习缓堵实验

高速公路上常见的“幽灵堵车”——即无明显原因形成的走走停停车流——不仅浪费能源，还增加事故风险。传统的解决方法如匝道控制或可变限速需要昂贵的基础设施。而自动驾驶汽车（AV）作为一种灵活方案，其智慧程度决定效果。强化学习（RL）为AV提供了一种通过试错学习最优驾驶策略的方法。

研究团队的核心假设是：即使只有少数车辆（如5%）采用RL控制的驾驶策略，也能打破人类驾驶行为的振荡循环，从而提升整体交通流。仿真实验证实了这一假设：在数据驱动的模拟环境中，这些RL控制器将整体油耗降低了20%。

RL控制器在仿真中学习之后，需要解决sim-to-real的迁移问题。研究团队利用田纳西州I-24高速的实测数据构建仿真环境，使AV学习如何平滑由人类驾驶轨迹引发的震荡。随后，他们将训练好的控制器部署到100辆普通乘用车上，在真实早高峰车流中进行测试。这一名为“MegaVanderTest”的试验，是目前最大规模的混合交通平滑实验。

部署过程中，控制器仅依赖本车速度、前车速度和间距这三个本地测量值，且使用标准雷达传感器。这种设计使得控制器可被集成到大多数现代车辆的智能巡航控制系统中，无需车联网或路侧设备。

RL控制器的行为完全由奖励函数引导。研究者面临的核心挑战是：如何让AV学会同时实现平滑车流、节能、安全、舒适且符合人类驾驶规范？如果过度强调节能，AV可能会停在路中间（因为这是最节能的状态）；如果忽略跟随人类驾驶员，则可能引发周围驾驶员的不适甚至危险。

为此，研究引入了动态最小和最大间距阈值，确保AV在安全范围内优化节能。同时，奖励函数中不仅考虑AV自身的油耗，还惩罚其后方人类车辆的油耗，避免AV“自私”驾驶。这种行为塑造使得AV学会了保持比人类稍大的跟车距离，从而更有效地吸收前方传来的减速波动。

仿真结果表明，在最高拥堵场景中，少于5%的AV参与即可实现全部车辆油耗降低20%。这一数字源自对I-24真实交通数据的回放。然而，仿真与真实世界存在差异：真实交通中人类驾驶员可能对AV行为产生适应性调整，从而改变效果。此外，实地试验的具体油耗降低数据尚未在本文中公布，仅提及了“显著改善”。

另一个不确定性在于可扩展性。虽然100辆车在单一公路上测试成功，但在更复杂的多车道、匝道交汇场景中，局部信息是否足够？此外，RL控制器的训练依赖特定高速公路的交通模式，迁移到其他道路是否需要重新训练？这些问题有待进一步研究。