在假造现实、增强现实、游戏和人机交互等领域，经常需要让假造人物和屏幕外的玩家互动。这种互动是即时的，要求假造人物根据操作家的作为从事动态调整。有些互动还涉及物体，比如和和假造人物一起搬动一把椅子，这就需要特别关注操作家手部的精确作为。智能、可交互的假造人物的出现，将极大地提升人类玩家与假造人物的交际体验，带来全新的娱乐方式。
在该研究中，作家专注于人与假造人的互动使命，特别是涉及物体的互动使命，提出了一项名为在线全身作为反映合成的新使命。新使命将鉴于人类的作为生成假造人的反映。以往的研究主要关注人与人的互动，不考虑使命中的物体，生成的身体反映也没有手部作为。此外，以往工作也没有将使命视为在线的推理，在实际情况中假造人根据实施情况对下一步从事预判。
为了支持新使命，作家首先构建了两个数据集，分别命名为 HHI 和 CoChair，并提出了一个统一的格式。具体来说，作家首先构建了交际可供性表现。为了做到这一点，他们选择了一个交际可供性载体，再运用 SE (3) 等变神经网络为该载体学习全部坐标系，最后将其交际可供性规范化。此外，作家还提出了一种交际可供性预计的方案，使假造人能够鉴于预计从事决策。
实验证明，该研究中的格式可以在 HHI 和 CoChair 数据集上有效生成高质量的反映作为，并且能在一块 A100 上实现 25 FPS 的实时推理速度。此外，作家还在现有的人类互动数据集 Interhuman 和 Chi3D 上验证了格式的有效性。
论文地址：https://arxiv.org/pdf/2312.08983.pdf
项目主页：https://yunzeliu.github.io/iHuman/
数据集构建
本文中，作家构建了两个数据集来支持在线全身作为反映合成使命，一个是双人交互的数据集 HHI，另一个是双人与物体交互的数据集 CoChair。
HHI 数据集是一个大规模的全身作为反映数据集，包含 30 个交互类别、10 对人体骨骼类型和总共 5000 个互动序列。
HHI 数据集有三个特点。第一个特点是包含多人全身互动，包括身体和手部互动。作家认为在多人互动中，手部的互动无法忽视，在握手、拥抱和交接过程中，都通过手部来传递丰富的信息。第二个特点是 HHI 数据集可以区分明确的行动发起者和反映者。例如，在握手、指向方向、问候、交接等情况下，HHI 数据集可以确定作为的发起者，这有助于研究者更好地定义和评估这个问题。第三个特点是 HHI 数据集包含的互动和反映的类型更丰富多样，不仅包括两个人之间 30 种类型互动，还提供了针对同一行动者的多个合理反映。例如，当有人向你打招呼时，你可以点头回应，用一只手回应，或者双手回应。这也是一种自然的特征，但以前的数据集很少关注到这一点并从事讨论。
CoChair 是一个大规模的多人和物体互动数据集，其中包括 8 个不同的椅子，5 种互动模式和 10 对不同的骨架，总共 3000 个序列。CoChair 有两个重要的特点：其一，CoChair 在协作过程中存在信息不对称。每一个行动都有一个（知道照顾物的目的地的）执行者 / 发起者和一个（不知道目的地的）反映者。其二，它具有多样的照顾模式。数据集包括五种照顾模式：单手固定照顾、单手移动照顾、双手固定照顾、双手移动照顾和双手灵活照顾。
格式
交际可供性载体指编码交际可供性信息的对象或人。当人类与假造人互动时，人类通常直接或间接地与假造人打仗。而当涉及物体时，人类通常会打仗物体。
为了模拟互动中的直接或潜在打仗信息，需要选择一个载体来同时表征人类、载体本身以及它们之间的关系。在该研究中，载体指人类可能打仗的物体或假造人模板。
鉴于此，作家定义了以载体为中心的交际可供性表现。具体而言，给定一个载体，研究者对人类行动从事编码，以获得密集的人 – 载体联合表现。鉴于这一表现，作家提出了一种交际可供性表现，其中包含人类行动的作为、载体的动态几何特征以及每一个时间步骤中的人 – 载体关系。
需要注意的是，交际可供性表现指的是从开始时刻到特定时间步骤的数据流，而不是单帧的表现。这种格式的优势在于将载体的全部区域与人类的行动运动密切关联了起来，形成了便于网络学习的表现。
通过交际可供性表现，作家进一步采用交际可供性规范化来简化表达空间。第一步是学习载体的全部框架。通过 SE (3) 等变网络，学习得到载体的全部坐标系。具体来说，首先将人类的作为转化为每一个全部坐标系的作为。接下来，作家从每一个点的视角对人类角色的作为从事密集编码，以获得一个密集的以载体为中心的作为表现。这可以被视为将一个 「观察者」 绑定到载体上的每一个全部点上，每一个 「观察者」 都从第一人称视角对人类的作为从事编码。这种格式的优势在于在对人类，假造人以及物体之间的打仗产生的信息从事建模的同时，交际可供性规范化简化了交际可供性的分布，并促进了网络学习。
为了预计和假造人交互的人类的行动，作家提出了交际可供性预计模块。在真实情况下，假造人只能观察到人类行动的历史动态。而作家认为假造人应该具备预计人类行动的能力，以便更好地规划自己的作为。例如，当有人抬手并向你走过来时，你可能会认为他们要与你握手，并做好迎接握手的准备。
在训练阶段，假造人可以观察到人类的所有作为。在真实世界的预计阶段，假造人只能观察到人类行动的过去动态。而提出的预计模块可以预计人类将要采取的作为，以提高假造人的感知能力。作家运用一个运动预计模块来预计人类行动者的作为和物体的作为。双人交互中，作家运用了 HumanMAC 作为预计模块。在双人与物体交互中，作家鉴于 InterDiff 构建了运动预计模块，并添加了一个先验条件，即人 – 物打仗是稳定的，以简化对物体运动的预计难度。
实验
定量测试可以看出该研究的格式在所有度量指标上都优于现有格式。为了验证格式中每一个设计的有效性，作家在 HHI 数据集上从事了消融实验。可以看出，没有交际可供性规范化时，该格式的表现显著下降。这表明运用交际可供性规范化来简化特征空间复杂性是必要的。没有交际可供性预计，文中的格式失去了预计人类行动者作为的能力，导致了性能下降。为了验证运用全部坐标系的必要性，作家还比较了运用全局坐标系的效果，可以看出全部坐标系显著更好。这也表明运用全部坐标系描述全部几何和潜在打仗是有价值的。
从可视化结果可以看到，与以往相比，运用文中格式训练过的假造人物的反映更快，并且能够更好地捕捉到全部的手势，在协作中生成更逼真和自然的抓取作为。 
更多研究细节，可参见原论文。