在主动驾驭领域，研究人员也在朝着 GPT/Sora 等大模型方向从事探索。
与生成式 AI 相比，主动驾驭也是近期 AI 最活跃的研究和开发领域之一。要想构建完全的主动驾驭系统，人们面临的主要挑战是 AI 的场景懂得，这会涉及到复杂、不可预测的场景，例如恶劣天气、复杂的道路布局和不可预见的人类行为。
现有的主动驾驭系统通常包括 3D 感知、运动预测和方案组成部分。具体来说，3D 感知仅限于检测和跟踪熟悉的物体，忽略了罕见物体及其属性， 运动预测和方案则关注物体的轨迹动作，通常会忽略物体和车辆之间的决议级交互。
主动驾驭需要从数据驱动迭代到知识驱动，通过训练具备逻辑推理能力的大模型才能真正解决长尾问题，只有这样才能迈向开放世界的 L4 级能力。随着 GPT4、Sora 等大模型通过涌现、规模效应展现出强大 few-shot/zero-shot 能力，人们正在思考一条新路。
最近清华大学交叉信息研究院、理想汽车提交的新论文中，作家提出了 DriveVLM，受到最近生成式 AI 领域兴起的视觉语言模型（VLM）启发，DriveVLM 在视觉懂得和推理方面表现出了非凡的能力。
在业界，这是第一个提出主动驾驭快慢系统的工作，方法充分结合了主流主动驾驭 pipeline 和具备逻辑思考的大模型 pipeline，并第一个完成端测部署的大模型工作（基于 Orin 平台）。
DriveVLM 包含一个 Chain-of-Though (CoT) 流程，该流程具有三个关头模块：场景形容、场景分析和分层方案。场景形容模块用语言形容驾驭环境，并识别场景中的关头对象；场景分析模块深入研究关头对象的特征及其对自我车辆的影响；分层方案模块从元动作和决议形容到路径点逐步制定计划。
这些模块分别对应于传统主动驾驭系统流程的感知 – 预测 – 方案流程三部分组件，不同之处在于它们处理对象感知、意图级预测和任务级方案，这些在过去是非常具有挑战性的。
虽然 VLM 在视觉懂得方面表现出色，但它们在空间基础和推理方面存在局限性，而且其算力需求对端侧推理速度提出了挑战。因此，作家进一步提出了 DriveVLMDual，这是一种结合了 DriveVLM 和传统系统优点的混合系统。DriveVLM-Dual 可选择将 DriveVLM 与传统 3D 感知和方案模块（如 3D 物体探测器、占用网络和运动方案器）集成，使系统能够实现 3D 接地和高频方案能力。这种双系统设计类似于人脑的慢速和快速思维过程，可以有效地适应驾驭场景中不同的复杂性。
同时，新研究定义了场景懂得和方案（SUP）任务，并提出了新的评估指标来评估 DriveVLM 和 DriveVLM-Dual 的场景分析和元动作方案能力。此外，作家还从事了全面的数据挖掘和诠释管道，为 SUP 任务构建内部 SUP-AD 数据集。
经过 nuScenes 数据集和自有数据集上的大量实验，人们证明了 DriveVLM 的优越性，尤其是在少量镜头的情况下。此外，DriveVLM-Dual 超越了最先进的端到端运动方案方法。
论文《DriveVLM: The Convergence of Autonomous Driving and Large Vision-Language Models》
论文链接：https://arxiv.org/abs/2402.12289
项目连接：https://tsinghua-mars-lab.github.io/DriveVLM/
DriveVLM 的整体流程如图 1 所示：
将连续帧视觉图像从事编码，通过特征对齐模块，与 LMM 从事交互；
从场景形容开始引导 VLM 模型的思考，先引导时间、场景、车道环境等静态场景，再引导影响驾驭决议关头障碍物；
对关头障碍物从事分析，通过传统 3D 检测和 VLM 懂得的障碍物从事匹配，进⼀步确认障碍物的有效性并消除幻觉，形容该场景下的关头障碍物的特征和对我们驾驭的影响；
给出关头的「元决议」，如减速、停车、左右转等，在根据元决议给出驾驭策略形容，并最终给出主车未来的驾驭轨迹。
图 1.DriveVLM 和 DriveVLM-Dual 模型管道。一系列图像由大视觉语言模型 (VLM) 处理，以执行特殊的思想链 (CoT) 推理，从而得出驾驭方案结果。大型 VLM 涉及视觉变换器编码器和大语言模型（LLM）。视觉编码器产生图像标记；然后基于注意力的提取器将这些标记与 LLM 对齐；最后，LLM 从事 CoT 推理。CoT 过程可以分为三个模块：场景形容、场景分析和层次方案。
DriveVLM-Dual 是一种混合系统，利用 DriveVLM 对环境的综合懂得和决议轨迹的建议，提升了传统主动驾驭 Pipeline 的决议和方案能力。它将 3D 感知结果合并为语言提示，以增强 3D 场景懂得能力，并通过实时运动方案器进一步细化轨迹路点。
尽管 VLM 擅长识别长尾物体和懂得复杂场景，但它们经常难以精确懂得物体的空间位置和详细运动状态，这一不足构成了重大挑战。更糟糕的是，VLM 巨大的模型体量导致高延迟，阻碍了主动驾驭的实时响应能力。为了应对这些挑战，作家提出了 DriveVLM-Dual，让 DriveVLM 和传统主动驾驭系统从事合作。这种新方法涉及两个关头策略：结合 3D 感知从事关头对象分析，给出高维驾驭决议信息，以及高频轨迹细化。
另外，为了充分发挥 DriveVLM 和 DriveVLMDual 在处理复杂和长尾驾驭场景方面的潜力，研究人员正式定义了一项名为场景懂得方案的任务，以及一组评估指标。此外，作家提出了一种数据挖掘和诠释协议来管理场景懂得和方案数据集。
为了充分训练模型，作家全新开发了⼀套 Drive LLM 的标注工具和标注方案，通过主动化挖掘、感知算法预刷、GPT-4 大模型总结和人工标注等多种方式相结合，形成了目前这⼀套高效的标注方案，每⼀个 Clip 数据都包含了多达数十种标注内容。
图 2. SUP-AD 数据集的带诠释样本。
作家还提出了一个全面的数据挖掘和诠释管道，如图 3 所示，为所提出的任务构建场景懂得方案 (SUP-AD，Scene Understanding for Planning in Autonomous Driving) 数据集，包含 100k+ 图像和 1000k+ 图文对 。具体来说，作家首先从大型数据库中从事长尾对象挖掘和具有挑战性的场景挖掘来收集样本，然后从每个样本中选择一个关头帧并进一步从事场景诠释。
图 3. 用于构建场景懂得和方案数据集的数据挖掘和诠释管道（上图）。从数据集中随机采样的场景示例（如下）展示了数据集的多样性和复杂性。
SUP-AD 分为训练、验证和测试部分，比例为 7.5 : 1 : 1.5。作家在训练分割上训练模型，并使用新提出的场景形容和元动作指标来评估验证 / 测试分割上的模型性能。
nuScenes 数据集是一个大规模的城市场景驾驭数据集，有 1000 个场景，每个场景持续约 20 秒。关头帧在整个数据集上以 2Hz 的频率均匀诠释。在这里，作家采用位移误差（DE）和碰撞率（CR）作为指标来评估模型在验证分割上的性能。
作家展示了 DriveVLM 与几种大型视觉语言模型的性能，并将它们与 GPT-4V 从事比较，如表 1 所示。DriveVLM 利用 Qwen-VL 作为其骨干，其实现了与其他开源 VLM 相比的最佳性能，具有应答和灵活交互的特点。其中前两个大模型已开源，使用了同样的数据进进了微调训练，GPT-4V 使用了复杂的 Prompt 从事 Prompt 工程。
表 1. 在 SUP-AD 数据集上的测试集结果。这里使用了 GPT-4V 的官方 API，对于 Lynx 和 CogVLM，利用训练分割来从事微调。
如表 2 所示，DriveVLM-Dual 与 VAD 配合时，在 nuScenes 方案任务上取得了最先进的性能。这表明新方法虽然是为懂得复杂场景而定制的，但在普通场景中也表现出色。请注意，DriveVLM-Dual 比 UniAD 有了显著提升：平均方案位移误差降低了 0.64 米，碰撞率降低了 51%。
表 2. nuScenes 验证数据集的方案结果。DriveVLM-Dual 实现了最佳性能。† 表示使用 Uni-AD 的感知和占用预测结果。‡ 表示与 VAD 合作，所有模型都以自我状态作为输入。
图 4. DriveVLM 的定性结果。橙色曲线代表模型在接下来 3 秒内计划的未来轨迹。
DriveVLM 的定性结果如图 4 所示。在图 4a 中，DriveVLM 准确预测当前场景条件，并结合有关接近我们的骑车人的有思考的方案决议。DriveVLM 还有效地懂得了前方交警手势，向自我车辆发出继续前进的信号，并且还考虑了右侧骑三轮车的人，从而做出正确的驾驭决议。这些定性结果证明了 DriveVLM 模型具有懂得复杂场景并制定合适驾驭计划的卓越能力。
图 7：SUP-AD 数据集中的各种驾驭场景。
图 9. SUP-AD 数据集中牛群和羊群的示例。一群牛在本车前方缓慢移动，要求策略推理出本车缓慢行驶并与牛保持安全距离。
图 16. DriveVLM 输出的可视化。DriveVLM 可以精确检测倒下的树木及其位置，随后方案合适的绕行轨迹。