自动驾驶汽车靠各种传感器「看到」这个世界，然后再借助人工神经网络处理来自传感器的数据。它们和人类不同，因为人类是有记忆的，一条路多走几次就熟了，但对于使用人工神经网络的自动驾驶汽车来说，这条路每天都是新的。这在天气恶劣时会成为一个问题，因为这种天气下，传感器往往没有那么可靠。
为了缓解这一问题，来自康奈尔大学 Ann S. Bowers 计算机与信息科学学院和工程学院的研究人员在 CVPR 2022 上发表了两篇研究论文，在ICLR 22上发表了一篇论文，其核心思想是为自动驾驶汽车创造「记忆」，并在后续的行驶中使用这些记忆。
论文 1 标题为「HINDSIGHT is 20/20: Leveraging Past Traversals to Aid 3D Perception」，一作是博士生游宇榕（Yurong You），senior author 是康奈尔大学 Bowers CIS 计算机科学教授 Kilian Weinberger。
论文链接：https://arxiv.org/pdf/2203.11405.pdf
Weinberger 教授认为，「上述问题的核心在于，我们能否从反复的经历中学习？例如，汽车的激光扫描仪第一次从远处看到形状奇怪的树时，可能会把它误认为行人，但一旦距离足够近，物体类别就变得清晰起来。因此，当你第二次开车经过同一棵树时，即使是在雾中或雪中，你也希望汽车已经学会正确识别这棵树。」
「事实上，你很少有机会开上一条近期完全没人开过的路，总有人最近会经过这里，所以，收集经验并加以利用看起来是再正常不过的事。」论文合著者 Katie Luo 说到。
在博士生 Carlos Diaz-Ruiz 的带领下，该小组在 18 个月的时间里驾驶一辆配置了激光雷达传感器的汽车在伊萨卡及其周围的 15 公里环路上重复行驶了 40 次，收集了沿途的环境（高速公路、城市、校园）、天气（晴天、雨天、下雪天）和一天中不同时段的信息。
这些信息组成了一个名为「Ithaca365」的数据集，其详细信息可在论文 2《Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions》中找到。
论文链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Diaz-Ruiz_Ithaca365_Dataset_and_Driving_Perception_Under_Repeated_and_Challenging_Weather_CVPR_2022_paper.pdf
「这项研究直面自动驾驶汽车的一项关键挑战——恶劣的天气条件，」Ithaca365 的合著者 Diaz-Ruiz 说，「如果路面被积雪覆盖，人类可以依靠记忆，但人工神经网络无法依靠记忆，这就使其陷入劣势。」
论文 1 标题中的「HINDSIGHT」是一种在汽车经过物体时使用神经网络计算物体描述符的方法。然后，它会压缩这些被称为「SQuaSH (Spatial-Quantized Sparse History) 特征」的描述，并将其存储在虚拟地图上，类似于存储于人脑中的「记忆」。
下次穿越同一位置时，自动驾驶汽车可以查询沿途每个激光雷达点的本地 SQuaSH 数据库，并「回忆起」上次学习的内容。该数据库不断更新并在车辆间共享，从而丰富了可用于执行识别的信息。
「此信息可作为特征添加到任何基于激光雷达的 3D 目标检测器中，」游宇榕说，「检测器和 SQuaSH 表示可以在没有任何额外监督或人工注释的情况下被联合训练，后者需要花费不少时间和精力。」
虽然 HINDSIGHT 仍然假设人工神经网络已经经过训练，可以检测物体，并增加了创建记忆的能力，但论文 3《Learning to Detect Mobile Objects from LiDAR Scans Without Labels》又往前走了一步，提出了一种名为 MODEST（Mobile Object Detection with Ephemerality and Self-Training）的方法。
论文链接：https://openaccess.thecvf.com/content/CVPR2022/papers/You_Learning_To_Detect_Mobile_Objects_From_LiDAR_Scans_Without_Labels_CVPR_2022_paper.pdf
在这篇论文中，作者让自动驾驶汽车从头开始学习整个感知流程。最初，车辆中的人工神经网络从未接触过任何物体或街道。在对同一路径多次遍历之后，它可以了解到环境的哪些部分是静止的，哪些目标是移动的。慢慢地，它会教会自己什么是其他交通参与者，什么是可以忽略的安全因素。
然后，该算法可以可靠地检测这些目标，甚至在最初的重复遍历中不包括的道路上。
研究人员希望这两种方法都能大幅降低自动驾驶汽车的开发成本（目前仍严重依赖昂贵的人工标注数据），并通过学会在最常用的地点导航来提高这种汽车的效率。
论文 1 和论文 3 的一作均为康奈尔大学博士生游宇榕（他也参与了论文 2）。他本科毕业于上海交通大学致远学院 ACM 班，大二暑假加入卢策吾的实验室开始了对计算机视觉和增强学习的研究，并分别在大三暑假赴斯坦福大学 AI 实验室，大四暑假赴康奈尔大学进行相关领域的科研实习，之后获得康奈尔大学、加州理工学院计算机科学博士全奖录取。
最终，他选择了康奈尔大学攻读博士，师从该校计算机科学教授 Kilian Q. Weinberger 和计算机科学助理教授 Bharath Hariharan，重点研究计算机科学、机器学习等方向。
参考链接：https://news.cornell.edu/stories/2022/06/technology-helps-self-driving-cars-learn-own-memories
https://news.sjtu.edu.cn/ztzl_qczj/20180628/78193.html
