李飞飞：不要数字孪生，要数字表兄弟，一张照片生成机器人训练场景

不百分百还原出虚拟场景，效果反而更好。我们很多人都听说过数字孪生（digital twin），在英伟达等公司的大力推动下，这种高效运营工作流程的方法已经在很多工业场景中得到应用。但你听说过数字表亲（digital cousin）吗？

不百分百还原出虚拟场景，效果反而更好。

我们很多人都听说过数字孪生（digital twin），在英伟达等公司的大力推动下，这种高效运营工作流程的方法已经在很多工业场景中得到应用。

但你听说过数字表亲（digital cousin）吗？

近日，斯坦福大学李飞飞团队就做出了一个这样的研究，其可有效地将真实数据变成适用于机器人学习的模拟数据 —— 在降低真实转模拟成本的同时还能提升学习的泛化性能。

简单来说，你只需拍一张照片，就能将照片中的物体变成虚拟版本，并且这个数字虚拟版本还不是照片中物体的一比一复刻，而是存在一定的变化。

我们知道，在真实世界中训练机器人并不安全，而且成本很高，难以大规模扩展。这就是模拟的用武之地，其成本低，并且可以源源不断地获取训练数据。但是，模拟的问题也很明显，模拟环境和真实环境总归不一样，存在含义和物理机制上的差异。

为了解决这种差异，数字孪生的概念诞生了。简单来说，数字孪生就是为真实场景构建一个虚拟副本，但其成本很高，并且难以实现跨域泛化。

为了解决这些局限，李飞飞团队提出了数字表亲（digital cousin）的概念。不同于数字孪生，数字表亲并不是真实物体的虚拟对应，而只是具有相似的几何和语义特质和属性。

论文标题：ACDC: Automated Creation of Digital Cousins for Robust Policy Learning
论文链接：https://arxiv.org/abs/2410.07408
项目地址：https://digital-cousins.github.io/

如此一来，数字表亲既能降低生成相似的虚拟环境的成本，还能通过提供相似训练场景的分布而实现更好的跨域泛化。基于数字表亲，该团队提出了一种用于自动创建数字表亲的全新方法，该方法就叫做自动数字表亲创建（Automatic Creation of Digital Cousins），简称 ACDC。

他们还提出了一种全自动的「真实→虚拟→真实」流程，可用于生成完全可交互的场景以及训练可以零样本方式部署在原始场景中的机器人策略。

结果表明，ACDC 得到的数字表亲可以成功保留几何与语义特质和属性，同时训练得到的机器人策略也优于使用数字孪生得到的策略：在零样本虚拟→真实迁移条件下，能以 90% 的成功率胜过数字孪生的 25%。

方法概述

ACDC 由三个连续步骤构成：

首先，从输入的 RGB 图像中提取出每个物体的相关信息。
接下来，基于一个资产数据集，使用该信息来为每个检测到的输入物体匹配数字表亲。
最后，对选取的数字表亲进行后处理，生成一个完全可交互的模拟场景。

实验

该团队进行一系列实验，试图解答以下研究问题：

问题 1：ACDC 能否得到高质量的数字表亲场景？给定一张 RGB 图像，ACDC 能否捕获原始场景中固有的高层级语义和空间细节？

问题 2：当在原始设置上进行评估时，基于数字表亲训练得到的策略能否与基于数字孪生得到的策略相媲美？

问题 3：相比于基于数字孪生训练得到的策略，基于数字表亲训练得到的策略是否更加稳健

问题 4：基于数字表亲训练得到的策略能否实现零样本「虚拟→真实」策略迁移

通过 ACDC 进行场景重建

在模拟 - 模拟场景中，ACDC 对场景重建进行定量和定性评估。

其中，「Scale」是输入场景中两个物体的边界框之间的最大距离。「Cat.」表示正确分类的物体与场景中物体总数的比例。「Mod.」显示正确建模的物体与场景中物体总数的比例。「L2 Dist.」提供输入和重建场景中边界框中心之间的欧几里得距离的平均值和标准差。「Ori. Diff.」表示每个中心对称物体的方向幅度差异的平均值和标准差。「Bbox IoU」表示资产 3D 边界框的交并比 (IoU)。