DriveVLM - AI在线

清华叉院、理想提出DriveVLM，视觉大语言模型提升自动驾驶能力

在自动驾驶领域，研究人员也在朝着 GPT/Sora 等大模型方向进行探索。与生成式 AI 相比，自动驾驶也是近期 AI 最活跃的研究和开发领域之一。要想构建完全的自动驾驶系统，人们面临的主要挑战是 AI 的场景理解，这会涉及到复杂、不可预测的场景，例如恶劣天气、复杂的道路布局和不可预见的人类行为。现有的自动驾驶系统通常包括 3D 感知、运动预测和规划组成部分。具体来说，3D 感知仅限于检测和跟踪熟悉的物体，忽略了罕见物体及其属性，运动预测和规划则关注物体的轨迹动作，通常会忽略物体和车辆之间的决策级交互。自动驾驶需