AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
本论文的第一作者朱钦峰是西交利物浦大学和利物浦大学联合培养的一年级在读博士，其导师为范磊副教授。他的主要钻研方向为语义分割、多模态信息融合、3D视觉、高光谱图像和数据巩固。该课题组正在招收24/25级博士生，欢迎邮件咨询。
主页：https://zhuqinfeng1999.github.io/
本文是对发表于模式识别领域顶刊Pattern Recognition 2024的最新综述论文：「Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey 」的解读。
该论文由西交利物浦大学朱钦峰、范磊和翁宁馨完成。
这篇综述首次周全总结了点云数据巩固的相关钻研工作。
深度进修已成为点云分析使命（如检测、分割和分类）的主流和有效办法之一。为了减少在训练深度进修模型过程中的过拟合，特别是在训练数据量或多样性有限的情况下提高模型本能，数据巩固通常是关键。尽管各种点云数据巩固办法已在不同的点云处理使命中广泛使用，但目前尚未发布这些办法的系统性综述或议论。
因此，本文对这些办法从事了调研，将其分类到一个包含本原和一定点云数据巩固办法的分类框架中。通过对这些巩固办法的周全评价，本文确定了它们的潜力和局限性，为选择合适的巩固办法提供了有用的参考。
此外，本文还探讨了将来钻研的潜在方向。本调研有助于提供点云数据巩固当前钻研的周全概览，促进其更广泛的使用和发展。
Free Access: https://authors.elsevier.com/c/1j3TW77nKoLGM
arXiv：https://arxiv.org/pdf/2308.12113
作者主页：https://zhuqinfeng1999.github.io/
图1.点云数据巩固办法的分类。
点云数据巩固
在深度进修领域，当可用的训练数据集有限时，数据巩固常被使用。这涉及执行一系列一定的操作来修改或扩展原始数据，从而增加数据集的数量和多样性。
由于优质的巩固数据集有助于提高网络的鲁棒性、巩固泛化能力并减少过拟合，因此在训练深度进修网络时，数据巩固几乎总是被视为理想的选择。在图像数据巩固和文本数据巩固领域，已经观察到了周全的发展。
在众多近期发表的关于点云处理使命的钻研论文中，钻研人员探索了各种巩固点云数据的办法。这些办法的广泛范围为钻研者在选择合适的办法时带来了挑战。因此，系统地调查这些办法并将它们分类成不同组别具有重要价值。
本文呈现了一个关于点云数据巩固办法的周全调查。
基于我们的调查，我们提出了一个这些巩固办法的分类体系，如图1所示。
巩固办法可以被分为两个主要类别：本原点云巩固和一定点云巩固，这与图像巩固的典型分类办法相似。
本原点云巩固指的是那些概念简单且在不同使命和使用环境中具有普适性的办法，这一点通过它们在调查文献中与其他办法的广泛结合使用得到了证明。
一定点云巩固则指通常为解决一定挑战或应对一定使用环境而开发的办法。在大多数情况下，一定点云巩固在计算上比本原巩固更为复杂，这取决于巩固办法的实现细节。我们提出的分类体系中的子类别代表了文献中已用于点云数据巩固的各种办法的总结，或具有潜力被用于点云数据巩固的办法。
该综述的主要贡献如下：
这是第一篇周全调查点云数据巩固办法的综述，涵盖了点云数据巩固的最新进展。根据巩固操作的特质，我们提出了一个点云数据巩固办法的分类体系。
本钻研总结了各种点云数据巩固办法，议论了它们在典型的点云处理使命（如检测、分割和分类）中的使用，并为将来的潜在钻研提供了建议。
本原点云巩固
仿射变换涉及到仿射空间的变换，它保留了共线性和距离比例。在图像数据巩固中，常用的仿射变换办法包括缩放、平移、旋转、翻转和剪切。同样地，仿射变换也可以使用于点云数据巩固。典型的办法包括平移、旋转、翻转和缩放，并且这些办法已被广泛用于生成额外的新训练数据。
这些操作可以使用于整个点云数据集，也可以使用一定策略使用于点云数据中选定的实例（实例指的是诸如图2（a）所示的车辆这样的语义对象），或者使用于选定实例的一定部分。
但是，通过仿射变换巩固的数据可能面临信息丢失或语义不合理的问题。这些仿射变换的具体操作及其议论详见论文。
图2.通过仿射变换巩固点云数据的示例:(a)原始点云数据，(b)平移车辆，(c)旋转车辆，(d)缩放车辆，(e)翻转场景。
抛弃巩固是指抛弃点云数据中的一些数据点，如图3所示。去除点的选择是由具体策略决定的。抛弃的点可以是整个点云数据的一部分，也可以是场景中随机选择的点。抛弃巩固有助于深度进修模型对表示遮挡或部分可见场景的缺失或不完整数据变得更加鲁棒。
它还可以防止深度进修模型过于依赖训练数据集中的一定数据点。然而，丢失过多或关键的点云信息可能会导致训练数据中对现实世界对象的不真实表示，并影响深度进修模型的训练。基于抛弃巩固的各种办法和议论详见论文。
图3.通过抛弃巩固的点巩固示例:(a)原始点云数据，(b)随机抛弃的巩固点云，(c)抛弃部分的巩固点云。
抖动是指对点云中单个点的位置施加微小的扰动或噪声，如图4所示。基于抖动巩固的各种办法和议论详见论文。
图4.抖动巩固示例:(a)原始点云数据，(b)抖动巩固的点云数据。
在场景级的点云数据集中，例如户外自动驾驶场景，标注的实例通常是有限的。在这种情况下，GT-sampling成为一种简单而有效的数据巩固办法。
GT-sampling是指将带有标签的实例添加到训练数据集中的操作，如图5所示，标记的GT实例来自同一训练数据集或其他数据集。GT-sampling通常适用于场景级点云数据集，而通常不考虑实例级点云数据集，如ShapeNet。基于GT-sampling巩固的各种办法和议论详见论文。
图5.(a)语义合理的GT-sampling，添加的车辆在红框中。(b) 语义不合理的GT-sampling，一辆车在建筑物墙体内，另一辆在树木中。
除此以外，本文还介绍了使用于本原点云数据巩固办法的策略，如Patch-based策略，和自动优化策略（见图6）。本文对典型的本原点云巩固办法从事了汇总，如表1所示。
图6.自动优化的常见过程。
表1.代表性本原点云巩固办法。
一定点云巩固
一定点云巩固办法通常旨在解决一定的挑战或使用场景。一定点云巩固包括：Mixup巩固，域巩固，对抗性变形巩固，上采样巩固，补全巩固，生成巩固，多模态巩固和其他。
这些一定巩固办法的具体定义以及议论详见文中。表2概述了具有代表性的一定巩固办法的发展，提供了各种信息。
表2.代表性一定点云巩固办法。
需要注意的是，目前一些对抗性变形、上采样、补全和生成技术并没有直接使用到点云数据巩固中，如表3所示。为了对一定办法从事周全的分类，本文还包括了这些潜在的办法并对其从事了议论。
表3.潜在的一定点云巩固办法。
议论
论文中对点云数据巩固办法的适用使命以及场景从事了详细的议论，并指出了点云数据巩固在一致性进修中的作用，如图7所示。
图7.(a)常规的深度进修训练，将原始数据和巩固数据发送到深度进修网络从事训练，得到训练后的模型;(b)一致性进修，通过各种巩固办法对输入点云数据从事变换，生成多个巩固变量，然后将其馈送到多个网络从事一致性进修，在训练期间做出一致的预测。
表4对从事数据巩固前后从事定量评价的文献从事了整理，展示了数据巩固的效果。作为比较各种巩固办法的另一部分，附录中（详见论文）还概述了使用巩固点云数据的下游使命的定量本能，以及这些使命中采用的巩固办法。
表4.点云数据巩固对于巩固模型表现的汇报结果。
将来工作
钻研团队针对该领域，指出了进一步钻研的九点可能的方向：
钻研人员没有充分钻研从事点云数据巩固的对抗性变形、上采样、补全和生成。鉴于GAN和扩散模型的进步，这些模型可用于生成现实和多样化的点云实例。将来的钻研应该在一定点云处理使命的基准数据集上评价这些办法，以评价它们作为巩固技术的有效性。
目前，很少有钻研针对不同的点云处理使命，使用一致的基线网络和数据集来评价点云数据巩固办法的本能。这样的评价将巩固我们对不同巩固办法本能的理解。因此，将来的钻研工作可能侧重于建立新的办法、指标和/或数据集，以评价点云数据巩固办法的有效性及其对深度进修模型本能的影响。
当使用于大规模点云数据集时，某些一定巩固办法可能会导致计算成本高昂。将来的工作可以集中在开发有效的算法，在计算成本和巩固效率之间从事权衡。此外，一些一定点云巩固办法相对复杂，难以复现。建议开发即插即用办法，促进其广泛采用。
对于点云数据巩固，缺乏普遍接受的基本巩固操作组合。因此，将来的工作需要建立一个标准协议，在不牺牲巩固效率的情况下，为不同的使用领域、使命和/或数据集选择巩固操作。
通过巩固生成的多个点云变体会影响一致性进修的有效性。目前，据我们所知，一致性进修中只使用了基本的巩固办法。探索一定点云巩固办法，如对抗变形和生成巩固，为提高一致性进修的有效性提供了一种有趣的办法，被认为是一个有价值的将来钻研方向。
目前，将本原点云巩固办法与一定点云巩固办法相结合的钻研有限。这样的组合有可能进一步增加数据巩固的多功能性，值得将来的钻研。
巩固需要真实地模拟点云数据的变化，如物体大小、位置、方向、外观和环境的变化，以确保模拟数据与现实世界的情况保持一致，并保持语义正确。将来的钻研可以着眼于标准化各种巩固范围，以适应一定的使用场景。
某些使用，如目标检测，可能涉及场景中的动态物体。在动态环境中捕获的点云可能需要考虑物体时间变化的一定巩固策略。例如，可以设计运动物体的一定轨迹，这可以通过一组组合巩固操作来实现，例如平移，旋转和抛弃。
ViT在简单组合基本操作的情况下，在分割和分类使命上也取得了较强的本能。当与最先进的ViT作为骨干网络集成时，探索巩固办法的本能将是有意义的。
参考文献：
[1] Qinfeng Zhu , Lei Fan , Ningxin Weng , Advancements in Point
Cloud Data Augmentation for Deep Learning: A Survey, Pattern Recognition (2024), doi:
https://doi.org/10.1016/j.patcog.2024.110532