引入麋集强化进修，用 AI 考证 AI。
主动驾驭汽车 (AV) 技术的快速发展，使得我们正处于交通革命的风口浪尖，其规模是自一个世纪前汽车问世以来从未见过的。主动驾驭技术具有显着提高交通平安性、机动性和可持续性的潜力，因此引起了工业界、政府机构、专业组织和学术机构的共同关注。
过去 20 年里，主动驾驭汽车的发展取得了长足的进步，尤其是随着深度进修的出现更是如此。到 2015 年，开始有公司宣布他们将在 2020 之前量产 AV。不过到目前为止，并且没有 level 4 级别的 AV 可以在市场上买到。
导致这一现象的原因有很多，但最重要的是，主动驾驭汽车的平安功能仍大大低于人类驾驭员。对于美国的普通驾驭员来说，在自然驾驭情况 (NDE) 中发生碰撞的概率约为 1.9 × 10^−6 per mile。相比之下，根据加利福尼亚 2021 年的摆脱报告（Disengagement Reports）显示，最先进的主动驾驭汽车的摆脱率约为 2.0 × 10^−5 / 英里。
注：摆脱率是评定主动驾驭可靠性的重要指标，它描述的是系统运行每 1000 英里需要驾驭员接管的次数。系统的摆脱率越低，意味着可靠性越佳。当摆脱率等于 0 时，也就从某种程度上说明这个主动驾驭系统已经达到无人驾驭级别。
尽管摆脱率会因为存在偏见而受到批评，但它已被广泛用于评价主动驾驭汽车平安功能。
提高主动驾驭汽车平安功能存在的一个关头瓶颈是平安考证服从低下。目前流行的是通过软件模拟、封闭尝试轨道和道路尝试相结合的方式来尝试主动驾驭汽车的无损检测。这样一来，AV 开发人员必须支付大量的经济和时间成本来评估，从而阻碍了 AV 部署的进展。
在 NDE 情况中，从事 AV 平安功能考证非常复杂。例如，驾驭情况在时空上是复杂的，因此定义此类情况所需的变量是高维的。随着变量维数呈指数增长，计算复杂度也呈指数增长。在这种情况下，即使给定大量数据，深度进修模型也很难进修。
本文中，来自密歇根大学安娜堡分校、清华大学等机构的钻研者，他们提出麋集深度强化进修 (D2RL，dense deep-reinforcement-learning) 要领来解决这一挑战。
该钻研登 Nature 封面。
论文地址：https://www.nature.com/articles/s41586-023-05732-2
项目地址：https://github.com/michigan-traffic-lab/Dense-Deep-Reinforcement-Learning
论文一作封硕，目前是清华大学主动化系终身助理教授（Tenure-Track Assistant Professor），此外，他还是密歇根大学交通钻研所 (UMTRI) 的助理钻研科学家。他于 2014 年和 2019 年在清华大学主动化系获得学士和博士学位，师从张毅教授。2017 年至 2019 年，他在密歇根大学土木与情况工程专业做访问博士，师从 Henry X. Liu 教授（本文通讯作者）。
钻研介绍
D2RL 要领的基本思想是识别和去除非平安关头（non-safety-critical）数据，并哄骗平安关头数据训练神经网络。由于只有一小部分数据是平安关头的，因此其余数据的信息将被大量麋集化。
与 DRL 要领相比，D2RL 要领可以在不损失无偏性（unbiasedness）的情况下显著减少多个数量级的策略梯度估计方差。这种显著的方差减少可以使神经网络进修和完成 DRL 要领难以处理的任务。
对于 AV 尝试，该钻研哄骗 D2RL 要领，通过神经网络训练周围车辆 (background vehicles，BV) 进修何时执行何种对抗性操作，旨在提高尝试服从。D2RL 在基于 AI 的对抗性尝试情况下可以将 AV 所需的尝试里程减少多个数量级，同时确保了尝试的无偏性。
D2RL 要领可以应用于复杂的驾驭情况，包括多条高速公路、十字路口和环岛，这是以前基于场景的要领无法实现的。并且，该钻研提出的要领可以创建智能尝试情况，即使用 AI 来考证 AI。这是一种范式转变，它为其他平安关头系统从事加速尝试和训练打开了大门。
为了证明基于 AI 的尝试要领是有效的，该钻研使用大规模实际驾驭数据集对 BV 从事了训练，并从事了模拟实验和物理尝试轨道的现场实验，实验结果如下图 1 所示。
麋集深度强化进修
为了哄骗 AI 技术，该钻研将 AV 尝试问题表述为马尔可夫决策过程 (MDP)，其中 BV 的操作是根据当前形态信息决定的。该钻研旨在训练一个由神经网络建模的策略（DRL 智能体），它可以控制 BV 与 AV 交互的操作，以最大限度地提高评估服从并确保无偏性。然而，如上文所述，受维数和计算复杂度的限制，如果直接应用 DRL 要领，很难甚至根本无法进修有效策略。
由于大多数形态都是非关头的，无法为平安关头事件提供信息，因此 D2RL 的重点是去除这些非关头形态的数据。对于 AV 尝试问题，可以哄骗许多平安指标来识别具有不同服从和有效性的关头形态。该钻研哄骗的关头性度量指标是当前形态特定时间范围内（例如 1 秒）内 AV 碰撞率的外部近似值。然后该钻研编辑了马尔可夫过程，丢弃非关头形态的数据，并将剩余数据用于 DRL 训练的策略梯度估计和 Bootstrap。
如下图 2 所示，相比于 DRL，D2RL 的优势是能够最大化训练过程中的奖励。
AV 仿真尝试
为了评估 D2RL 要领的准确性、服从、可扩展性和通用性，该钻研从事了仿真尝试。对于每个尝试集，该钻研模拟了一段固定距离的交通行驶，然后记录并分析尝试结果，如下图 3 所示。
为了进一步钻研 D2RL 的可扩展性和泛化性，该钻研对 AV-I 模型从事了不同车道数 (2 车道和 3 车道) 和行驶距离 (400 米、2 千米、4 千米和 25 千米) 的实验。本文对 25 千米行程从事了钻研 ，因为在美国，平均通勤者单程旅行约为 25 千米。结果如表 1 所示：
参考链接：
https://auto.ifeng.com/qichezixun/20200303/1390011.shtml
https://www.nature.com/articles/d41586-023-00798-4