来自清华大学交叉信息研究院的研究者提出了「GenH2R」框架，让机器人进修通用的鉴于视觉的人机交代战略（generalizable vision-based human-to-robot handover policies）。这种可泛化战略使得机器人能更可靠地从人们手中接住几何形状多样、静止轨迹搀杂的物体，为人机交互提供了新的可能性。
随着具身智能（Embodied AI）时代的来临，我们期待智能体能主动与环境进行交互。在这个过程中，让机器人融入人类生活环境、与人类进行交互（Human Robot Interaction）变得至关重要。我们需要思考如何理解人类的行为和意图，以最符合人类期望的方式满足其需求，将人类放在具身智能的中心（Human-Centered Embodied AI）。其中一个关键的技能是可泛化的人机交代（Generalizable Human-to-Robot Handover），它使机器人能够更好地与人类合作，完成各种日常通用任务，如烹饪、居室整理和家具组装等。
大模型的火爆发展预示着海量高质量数据+大规模进修是走向通用智能的一种可能方式，那么能否通过海量机器人数据与大规模战略师法获取通用人机交代技能？然而，若考虑在现实世界中让机器人与人类进行大规模交互进修是危险且昂贵的，机器很有可能会伤害到人类：
而在仿真环境中（Simulation）进行训练，用人物仿真和动态抓取静止规划来自动化提供海量多样的机器人进修数据，然后将其部署到真实机器人上（Sim-to-Real Transfer），是一种更可靠的鉴于进修的步骤，可以大大拓展机器人与人协作交互的能力。
因此，「GenH2R」框架被提出，分别从仿真（Simulation），示例（Demonstration），师法（Imitation）三个角度出发，让机器人第一次鉴于端到端的方式进修对任意抓取方式、任意交代轨迹、任意物体几何的通用交代：1）在「GenH2R-Sim」环境中提供了百万级别的易于生成的各种搀杂仿真交代场景，2）引入一套自动化的鉴于视觉 – 动作协同的大师示例（Expert Demonstrations）生成流程，3）使用鉴于 4D 信息和预测辅助（点云 + 时间）的师法进修（Imitation Learning）步骤。
相比于 SOTA 步骤（CVPR2023 Highlight），GenH2R 的步骤在各种测试集上平均成功率提升 14%，时间上缩短 13%，并在真机实验中取得更加鲁棒的效果。
论文地址：https://arxiv.org/abs/2401.00929
论文主页：https://GenH2R.github.io
论文视频：https://youtu.be/BbphK5QlS1Y
步骤介绍
A. 仿真环境（GenH2R-Sim）
为了生成高质量、大规模的人手 – 物体数据集，GenH2R-Sim 环境从抓取姿态和静止轨迹两方面对场景建模。
在抓取姿态方面，GenH2R-Sim 从 ShapeNet 中引入了丰富的 3D 物体模型，从中挑选出 3266 个适合交代的日常物体，使用灵巧抓取的生成步骤（DexGraspNet），总共生成了 100 万个人手抓住物体的场景。在静止轨迹方面，GenH2R-Sim 使用若干控制点生成多段光滑的 Bézier 曲线，并引入人手和物体的旋转，模拟出手递物体的各种搀杂静止轨迹。
GenH2R-Sim 的 100 万场景中，不仅在静止轨迹（1 千 vs 100 万）、物体数量（20 vs 3266）两方面远超之前最新工作，此外，还引入了接近真实情境的互动信息（如机械臂足够靠近物体时，人会配合停止静止，等待完成交代），而非简单的轨迹播放。尽管仿真生成的数据不能完全逼真，但实验结果表明，相比小规模的真实数据，大规模的仿真数据更有助于进修。
B. 大规模生成利于蒸馏的大师示例
鉴于大规模的人手和物体静止轨迹数据，GenH2R 自动化地生成了大量大师示例。GenH2R 寻求的 “大师” 是经过改进后的 Motion Planner（如 OMG Planner），这些步骤是非进修、鉴于控制优化的，不依赖于视觉的点云，往往需要一些场景状态（比如物体的目标抓取位置）。为了确保后续的视觉战略网络能够蒸馏出有益于进修的信息，关键在于确保 “大师” 提供的示例具有视觉 – 动作相关性（Vision-action correlation）。规划时如果知道最后落点，那么机械臂可以忽略视觉而直接规划到最终位置 “守株待兔”，这样可能会导致机器人的相机无法看到物体，这种示例对于下游的视觉战略网络并没有任何帮助；而如果频繁地根据物体位置进行重新规划，可能会导致机械臂动作不连续，出现奇怪的形态，无法完成合理的抓取。
为了生成出利于蒸馏（Distillation-friendly）的大师示例，GenH2R 引入了 Landmark Planning。人手的静止轨迹会按照轨迹光滑程度和距离被分成多段，以 Landmark 作为分割标记。在每一段中，人手轨迹是光滑的，大师步骤会朝着 Landmark 点进行规划。这种步骤可以同时保证视觉 – 动作相关性和动作连续性。
C. 以预测为辅助的 4D 师法进修网络
鉴于大规模大师示例，GenH2R 使用师法进修的步骤，构建 4D 战略网络，对观察到的时序点云信息进行几何和静止的分解。对于每一帧点云，通过迭代最近点算法（Iterative Closest Point）计算和上一帧点云之间的位姿变换，以估计出每个点的流（flow）信息，使得每一帧点云都具有静止特征。接着，使用 PointNet++ 对每一帧点云编码，最后不仅解码出最终需要的 6D egocentric 动作，还会额外输出一个物体未来位姿的预测，增强战略网络对未来手和物体静止的预测能力。
不同于更加搀杂的 4D Backbone（例如 Transformer-based），这种网络架构的推理速度很快，更适用于交代物体这种需要低延时的人机交互场景，同时它也能有效地利用时序信息，做到了简单性和有效性的平衡。
实验
A. 仿真环境实验
GenH2R 和 SOTA 步骤进行了各种设定下的比较，相比于使用小规模真实数据训练的步骤，在 GenH2R-Sim 中使用大规师法真数据进行训练的步骤，可以取得显著的优势（在各种测试集上成功率平均提升 14%，时间上缩短 13%）。
在真实数据测试集 s0 中，GenH2R 的步骤可以成功交代更搀杂的物体，并且能够提前调整姿态，避免在夹爪靠近物体时再频繁进行姿态调整：
在仿真数据测试集 t0（GenH2R-sim 引入）中，GenH2R 的步骤可以能够预测物体的未来姿态，以实现更加合理的接近轨迹：
在真实数据测试集 t1（GenH2R-sim 从 HOI4D 引入，比之前工作的 s0 测试集增大约 7 倍）中，GenH2R 的步骤可以泛化到没有见过的、具有不同几何形状的真实世界物体。
B. 真机实验
GenH2R 同时将学到的战略部署到现实世界中的机械臂上，完成 “sim-to-real“的跳跃。
对于更搀杂的静止轨迹（例如旋转），GenH2R 的战略展示出更强的适应能力；对于更搀杂的几何，GenH2R 的步骤更可以展现出更强的泛化性：
GenH2R 完成了对于各种交代物体的真机测试以及用户调研，展示出很强的鲁棒性。
了解更多实验、步骤内容，请参考论文主页。
团队介绍
该论文来自清华大学 3DVICI Lab、上海人工智能实验室和上海期智研究院，论文的作者为清华大学学生汪子凡（共同一作）、陈峻宇（共同一作）、陈梓青和谢鹏威，指导老师是弋力和陈睿。
清华大学三维视觉计算与机器智能实验室（简称 3DVICI Lab），是清华大学交叉信息研究院下的人工智能实验室，由弋力教授组建和指导。3DVICI Lab 瞄准人工智能最前沿的通用三维视觉与智能机器人交互问题，研究方向涵盖具身感知、交互规划与生成、人机协作等，与机器人、虚拟现实、自动驾驶等应用领域密切联系。团队研究目标是使智能体具备理解并与三维世界交互的能力，成果发表于各大顶级计算机会议、期刊上。